








deg AF tI tE 


PEKING UNIVERSITY PRESS 








说 明 


本 书 版 权 属 于 北京 大 学 出 版 社 有 限 公司 。 版 权 所 有 ， 侵 
权 必 完 。 

本 书 电子 版 仅 提 供给 高 校 任 课 教 师 使 用 ， 如 有 任课 教师 
需要 本 书 课件 或 其 他 相关 教学 资料 ， 请 联系 北京 大 学 出 版 社 
客服 ， 微 信 手 机 同 号 : 15600139606， 扫 下 面 二 维 码 可 直接 
联系 。 

由 于 教材 版 权 所 限 ， 仅 限 任课 教师 索取 ， 谢 谢 ! 





计算 机 视觉 
一 一 基于 图 像 的 3D 重 构 


TRE #F 


@ RIS h itt 


> PEKING UNIVERSITY PRESS 





内 容 简 介 





本 书 在 介绍 计算 机 视觉 基本 知识 的 基础 上 ， 重 点 探讨 3D 重 构 的 各 种 理论 及 
































其 内 在 联系 ， 以 及 经 典 的 应 用 案例 ， 并 对 其 中 的 相机 标定 、 多 模型 估计 等 关键 技 














术 提出 独到 的 见解 ， 规 划一 整套 算法 ， 构 建 完善 的 学 科 体 系 。 











图 书 在 版 编目 (CIP) 数 据 





计算 机 视觉 : 基于 图 像 的 3D 重 构 / FARBER. 一 北京 : 北京 大 学 出 版 社 ， 








202012 
ISBN 978-7-301-31859-1 


L Mite 0. OF M. @ 计 算 机 视觉 VODTP3027 


T 








中 国 版 本 图 书馆 CP 数据 核 字 (2020) 第 .230053 号 















































书 名 计算 机 视觉 一 基于 图 像 的 3D 重 构 
JISUANJI SHJUE——JIYU TUXIANG'DE 3D CHONGGOU 

著作 责任 者 FRE # 

策划 编辑 MW 

责任 编辑 - 郑 双 

标 准 S| ISBN 978-7-301-31859-1 

出 版 发行 北京 大 学 出 版 社 

地 hk ”北京 市 海淀 区 成 府 路 205 号 100871 

网 址 http://www. pup. cn 新 浪 微 博 : @ 北 京 大 学 出 版 社 

电子 信箱 pup_6@163.com 

电 话 ”邮购 部 010-62752015 ”发 行 部 010-62750672 
编辑 部 010-62750667 

印 刷 者 

经 销 者 新 华 书店 
650 毫米 X980 毫米 16 开 本 1275 印张 212 Fe 
2020 年 12 月 第 1 版 2020 年 12 月 第 1 次 印刷 

定 价 68.0076 





未 经 许可 ， 不 得 以 任何 方式 复制 或 抄袭 本 书 之 部 分 或 全 部 内 容 。 
版 权 所 有 ， 侵 权 必 究 

举报 电话 : 010-62752024 ”电子 信箱 : fd@pup. pku. edu. cn 
图 书 如 有 印 装 质量 问题 ， 请 与 出 版 部 联系 ， 电 话 : 010-62756370 


Lilt 


前 














基于 图 像 的 3D 重 构 是 计算 机 视觉 领域 的 研究 热点 , 被 广泛 应 用 于 航 
空 航天 、 机 械 制 造 、 医 疗 、 考 古 、 地 质 、 犯 罪 现 场 复 原 、 建 筑 设计 、 城 
市 规划 等 领域 。 相 对 于 较 成 熟 的 多 视图 或 多 幅 图 像 的 3D 重 构 技 术 ， 基 于 
幅 图 像 的 3D 表面 重 构 由 于 其 先天 性 约束 不 足 和 潜在 的 巨大 价值 受到 
各 国 研究 人 员 前 所 未 有 的 关注 。 本 书 针对 现 有 单 图 像 -3D 重 构 技术 中 的 
SFS、SFT 等 两 种 典型 方案 的 局 限 性 ， 分 别提 出 有 针对 性 的 改进 措施 ， 并 
提出 一 种 新 的 基于 图 像 中 几何 元 素 共 平面 性 约束 的 3D 表面 重 构 方案 。 
第 一 , 针对 SFS 类 方法 大 多 严重 依赖 边界 条 件 和 初始 假定 解 而 可 
能 导致 多 重 解 、 无 解 或 局 部 解 的 歧义 性 问题 ， 提 出 基于 表面 可 积 性 条 
件 将 SFS 求解 目标 规划 为 一 个 仅 含 二 次 项 约束 的 多 项 式 系统 ， 使 用 同 
伦 分 析 方 法 提高 解 的 存在 概率 和 解 的 精确 度 ; 基于 精确 线 搜索 技术 ， 
过 设计 新 的 平滑 项 优化 迭代 过 程 , 加 快 收敛 速度 ; 针对 多 项 式 系统 可 能 
存在 非 凸 项 问题 ， 构 造 对 应 的 SDP 凸 松弛 ， 使 SFS 摆脱 了 对 初始 假定 
解 的 严重 依赖 性 ， 确 保 SFS 迭代 收敛 于 一 个 全 局 极 小 值 ， 从 而 获得 闭 
合 解 。 实 验 结果 表明 ， 这 种 方案 大 大 提高 了 SFS 求解 过 程 的 高 效 性 和 
结果 的 普 适 性 ， 而 且 对 弹性 表面 和 非 弹 性 表面 都 有 较 好 的 重 构 效果 。 
第 二 ， 将 纹理 表面 中 普遍 存在 的 局 部 面 片 法 向 倒置 等 二 进 制 歧义 
性 归结 为 一 种 离散 判定 问题 ， 首 先 将 表面 表示 为 一 个 张 量 积 基 函 数 的 
线性 组 合 ， 用 离散 变量 描述 该 歧义 性 ， 进 而 定义 一 个 二 次 目标 函数 来 
度量 表面 平滑 度 和 约束 满足 度 ， 通 过 消除 连续 变量 产生 一 个 仅 含 离散 
变量 的 二 次 目标 函数 ， 再 使 用 SDP 凸 松弛 法 , 将 离散 变量 嵌入 一 个 连 
续 高 维 空间 ， 通 过 基于 分 裂 惯 性 和 角 扫 描 的 圆 整 操作 将 离散 变量 归 约 
到 一 个 低 维 空间 ， 最 后 通过 最 大 割 算法 获得 较 理想 的 解 。 上 述 方案 比 
传统 的 椭 球 法 高 效 且 成 本 低 , 还 可 进一步 使 用 K-L 算法 改善 局 部 搜索 
过 程 ， 消 除 错误 制 点 ， 有 效 提高 解 的 精确 度 。 
第 三 ， 针 对 图 像 中 几何 元 素 的 共 平 面 性 可 提供 景深 信息 的 特点 ， 
提出 一 种 基于 交叉 平坦 曲线 共 平面 约束 的 新 的 3D 表面 重 构 方案 ， 即 
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对 于 不 平行 于 投影 方向 的 某 一 个 平面 ， 根 据 其 所 含 曲线 与 男 一 平面 中 
某 曲 线 的 交叉 构 型 构造 一 个 线性 系统 ， 当 一 组 这 样 的 交叉 曲线 位 于 拟 
求解 表面 时 ， 可 获得 该 系统 的 精确 解 空间 。 对 于 含 噪 系统 ， 增 加 新 的 
约束 条 件 ， 使 用 SVD 法 可 得 到 逼近 解 。 再 利用 正 投影 和 透视 投影 的 
等 价 性 ， 可 将 透视 投影 转化 为 正 投影 ， 从 而 将 这 两 种 投影 下 的 3D 表 
面 重 构 归 入 到 一 个 框架 中 。 实验 表明 , 这 种 方法 大 大 提高 了 单 图 像 3D 
表面 重 构 的 健壮 性 ， 可 适用 于 完全 未 标定 结构 光 等 真实 场景 。 
本 书 在 内 容 安 排 上 按照 由 浅 入 深 、 由 简 到 繁 、 由 基础 点 到 专业 体 
系 的 基本 思路 来 组 织 素 材 ， 力 求 在 理论 讲解 上 既 不 空洞 又 有 趣味 ， 在 
技术 实现 上 要 求 可 操作 型 强 ， 让 读者 一 看 就 懂 、 一 试 就 成 功 ， 目 的 是 
激发 读者 的 尝试 欲望 ， 培 养 、 提 高 读者 的 实践 能 力 。 

本 书 的 组 织 结构 如 图 0-1 所 示 ( 其 中 数字 代表 章节 序号 )。 有 具体 内 
容 介 绍 如 下 。 
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表面 形变 歧义 
性 的 SFS 解 法 


图 0-1 本 书 的 组 织 结构 图 
第 1 章 ， 首 先 介绍 计算 机 视觉 的 基本 概念 ， 接 着 讨论 基于 图 像 的 




















3D 表面 重 构 的 发 展 概况 及 数学 原理 , 重点 分 析 基 于 单 幅 图 像 的 3D 表 
面 重 构 技 术 的 非 适 定 现象 ， 最 后 简要 总 结 了 各 种 歧义 性 问题 ， 并 由 此 
提出 3 种 基本 的 约束 模式 。 

第 2 章 ， 扼 要 介绍 3D 表面 的 形式 定义 及 成 像 模 型 ， 着 重 分 析 平 
滑 表 面 成 为 局 部 平面 的 必要 条 件 ， 并 简单 讨论 Lambertian 表面 的 假设 
条 件 ， 以 及 单 光 源 假设 的 合理 性 和 必要 性 。 最 后 系统 介绍 同 伦 分 析 法 
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(Homotopy Analysis Methed , HAM) 和 半 定 规划 (Semi-Definite 
Programming，SDP) 两 种 较 流 行 的 优化 方法 。 
第 3 章 , 介绍 SFS 方法 的 理论 基础 及 存在 的 问题 , 提出 将 SFS 问 
题 规 划 为 多 项 式 结构 ， 再 讨论 如 何 将 成 熟 的 同 伦 分 析 法 、 优 化 线 搜索 
法 和 半 定 规划 法 等 用 于 求解 多 项 式 。 
第 4 章 ， 介 绍 表面 纹理 的 二 进 制 歧义 性 ， 提 出 将 含 二 进 制 歧义 性 
的 SFT 归结 为 一 个 离散 判定 问题 ,再 通过 半 定 规划 凸 松弛 、 贺 整 操作 
和 最 大 割 算法 等 步骤 获得 较 理想 的 逼近 解 。 

第 5 章 ， 介 绍 图 像 中 几何 元 素 的 共 平 面 性 特征 , “并 提出 一 种 基于 
交叉 平坦 曲线 的 共 平面 约束 的 3D 表面 重 构 方法 。 

第 6 章 ， 总 结 本 书 所 做 的 工作 ， 对 主要 创新 点 分 别 做 了 小 结 ， 并 
对 未 来 研究 方向 提出 了 展望 。 
本 书 在 写作 过 程 中 得 到 了 王 志 坚 教授 、 娄 渊 胜 教 授 、 吕 春 博 士 以 
及 其 他 很 多 热心 人 士 的 帮助 与 支持 ， 感 谢 内 江 师 范 学 院 的 领导 及 各 位 
同人 ， 感 谢 他们 为 全 书 的 整体 性 构思 提供 了 许多 建设 性 的 建议 ， 感 谢 
他 们 为 本 书 提供 了 实验 平台 ， 还 有 其 他 为 本 书 进行 过 文字 校对 、 排 版 
的 老师 及 同学 ， 此 处 不 再 一 一 列 出 ,在 此 一 并 表示 最 诚挚 的 谢意 ! 
虽然 作者 主观 上 做 了 最 大 的 努力 ， 但 由 于 本 身 的 水 平 有 限 ， 加 上 
村 间 仓 促 ; 难免 存在 一 些 不 足 。“ 他 山 之 石 ， 可 以 攻 玉 ”， 真 诚 地 希望 
使 用 或 阅读 本 书 的 读者 给 予 批评 指正 ， 不 将 赐教 。 












































m 


FRE 
2020 年 7 月 3 日 于 四 川内 江 

















第 1 章 


第 2 章 


2.2 


2.3 








基于 图 像 的 3D 重 构 … 
1.2.1 3D 重 构 的 数学 
1.2.2 ”发展 概况 








基于 单 幅 图 像 的 3D 重 构 13 
1.3.1 SFS oh 15 
1.3.2 SFT TET W dseeeessseeeseeeseeeesesoooesecesoenesessoeseesssooses 24 
DAA.. E S E, T © E 25 
ESAN afo E L A E T 27 
3D: 表 面 成 像 及 优化 方法 .区 31 
BD PETER eee eee eed EEE 32 
DAL PETA AYTESRAL SE SC reece ete eee ete eens EAS E SERERE 33 
oA i A EE, 34 
2.1.3 第 二 基本 型 OO 36 
光照 模型 

po ARSA Eaire 38 
DD. SAE Tey ioe at AAA oseatccdsenacscnacastandensanasaatccrsesaidertesoncssaetes 42 
2.2.3 Lambertian 模型 seen sees sence eee eeee eee eeeeeenes 44 
2.2.4 梯度 室 间 OSE 45 
光学 成 像 原 理 和 46 
2.3.1 ”相机 模型 EOE 46 


© 计算 机 视觉 一 基于 图 像 的 3D EH 


2.4 


2.5 


2.6 
第 3 章 


3.1 


3.2 
33 


3.4 
3:5) 


第 4 章 


4.1 
4.2 


4.3 





同 伦 分 析 法 eeeeeettrrrrtssrtrsrrrnsssstssssrrnnsssstssnnnnnssntnessrtnttnt 55 
2.4.1 早期 HAM pe 56 
2.4.2 标准 HAM ee 58 
2.43 -优化 HAM eeeeeeeeetttrterereererertsteeesrerertrnererererereeneneeees 59 
Sb 0606 二 本寺 后 和 8 二 二 机 61 
2.5.1 线性 规划 的 一 种 推广 eeeeeereereeeeereerrerererrerrrererereeeerees 61 
2.5.2 ERER PERE errereen 62 
2.5.3 Cholesky 分 解 和 65 


2.5.4” 半 定 规划 
2.5.5” 非 标准 半 定 






















2.5.6 

本 章 小 结 

非 刚 体 表面 的 SFS AGARRI 71 
引言 和 72 
3.1.1 标准 SFS Bist: 

3.1.2” 非 刚体 3D 表面 重 构 pp 76 


3.1.3 基于 多 项 式 的 SFS 模式 
构建 同 伦 分 析 框架 的 SFS 模式 
使 用 线 搜索 优化 迭代 过 程 

k, e A 建立 线 搜索 基本 框架 Sanna 83 
3.3.2 ”正则 化 处 理 - 
将 SDP 推广 到 SFS 问题 























本 章 小 结 AAA 94 
离散 歧义 性 的 SFT RRRA R cece ees 95 




















4.2.1 宪 面 法 向 义 人 性 ee 102 
422 ”线段 定向 歧义 性 esses 106 
基于 SDP 的 离散 战 广 性 解决 方案 .pe 109 
4.3.1 构造 SDP 松弛 109 



































Eo 11 
44 本 章 小 续 23 
第 5 章 ， 基 于 共 平面 线性 约束 的 表面 重 构 e 25 
5.1 引言 26 
5.1.1 平面 性 97 
5.1.2” 共 平面 性 35 
5$.1.3 平坦 横 截 面 137 
5.1.4” 共 平面 约束 39 
52 ”基于 共 平 面 性 的 线性 约束 系统 eee KONN rererere 41 
5.2.1 构造 线性 系统 43 
5.2.2 平凡 解 子 空间 cS 
5.3 无 噪 系统 的 非 平凡 解 … 
54 合 噪 系统 的 非 平 凡 解 Oi 
5.4.1 平凡 子 空间 AN CMs TT o N Ap scsssssssnerrereesossosssses 54 
5.4.2 ”下 投影 系统 的 求解 60 
543 ”透视 投影 系统 的 求解 … K ereere 62 
5.5 ”改善 精确 度 64 
5S.6、 本章 小 结 67 
第 6 章 总 结 与 展望 CT E ETTEN T 69 
EI ABTN a roio ea 170 
6 A A E A csnaeddicanncatssssnccsswasecascascalteaasnevannasane’ 172 
参 者 文献 174 


Vil 





$ 计算 机 视觉 一 基于 图 像 的 3D 重 构 





伴随 着 20 世纪 40 年 代 第 一 台电 子 计算 机 的 横 空 出 世 ， 人 们 就 一 
直 在 探讨 一 个 经 典 的 哲学 话题 ， 即 人 类 “能 否 制造 出 一 台 像 人 一 样 联 
明 的 智能 机 器 "， 这 是 近 一 个 世纪 以 来 激励 计算 机 科学 蓬勃 发 展 的 核 
心动 力 之 一 ， 直 接 引领 3 人工 智能 学 科 的 诞生 。 人 工 智能 的 一 个 重要 
分 支 称 为 计算 机 视觉 ， 主 要 研究 如 何 使 计算 机 具备 “看 ”的 能 力 ， 在 
生产 生活 的 各 个 领域 得 到 了 广泛 应 用 ， 如 无 人 驾驶 的 导航 系统 、 工 业 
上 的 非 接触 测量 、 医 疗 领 域 的 图 像 辅助 诊疗 、 智 能 交通 、 安 全 监控 系 
统 及 家 庭 娱 乐 等 ， 并 由 此 极 大 地 促进 了 相关 学 科 的 协同 发 展 ， 如 视觉 
生理 学 、 心 理学 、 几 何 学 、 统 计 学 、 物 理学 \、 信 息 论 、 拓 扑 学 、 视 觉 
计算 理论 、 优 化 理论 等 。 





视觉 系统 是 人 类 生理 系统 中 构造 最 复杂 、 功 能 最 强大 的 感官 系 
统 。 使 用 计算 机 来 模仿 人 类 视觉 ， 就 称 为 计算 机 视觉 。 计 算 机 视觉 技 
术 专 门 研究 如 何 协助 机 器 来 模拟 人 类 的 视觉 感知 能 力 ， 可 以 像 人 类 那 
样 准确 观察 、 分 析 、 理 解 和 再 现 真实 世界 的 各 类 场景 结构 。 图 1.1 描 
述 了 计算 机 视觉 的 基本 原理 与 一 般 过 程 。 

计算 机 视觉 的 数学 基础 是 投影 几何 ， 本 书 主要 涉及 正 投影 和 透视 
投影 。 正 投 影 也 称 平行 投影 所 形成 的 图 像 较为 直观 , 数学 模型 简单 
易于 理解 。 而 透视 投影 可 看 成 正 投影 的 一 般 形式 ， 或 者 说 正 投影 是 透 
视 投 影 的 特例 。 透 视 投影 是 指 投影 中 心 位 于 理想 的 无 穷 远 点 处 。 
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图 1.1; 计算 机 视觉 的 基本 原理 与 一 般 过 程 


图 1.2 描述 了 最 简单 的 针 孔 相机 的 投影 成 像 模 型 。 三 维 空间 中 某 
点 MM 在 三 维 平面 上 的 投影 点 m 可 表示 为 式 (1.1)。 





mo FM. (1.1) 


式 (1.1) 中 的 五 表示 针 孔 成 像 的 投影 矩阵 。 

计算 机 视觉 的 发 展 大 致 经 历 了 两 个 阶段 。 第 一 个 阶段 为 计算 视觉 
理论 。 英国 心理 学 家 Mart 在 对 人 类 视觉 系统 全 面 研究 的 基础 上 ， 将 
心理 学 、 人 工 智能 和 神经 生理 学 的 已 有 成 果 结 合 起 来 ， 于 1982 FH 
次 提出 较为 完善 的 计算 机 视觉 理论 的 基本 框架 中 ( 见 图 1.3)， 促 进 了 计 
算 机 视觉 学 科 的 形成 ， 为 计算 机 视觉 的 莲 勃 发 展 与 工程 化 应 用 黄 定 了 
重要 的 理论 基础 。Marr 从 信息 处 理 系 统 的 角度 出 发 ， 将 视觉 系统 的 研 
究 分 为 三 个 层次 , 即 计算 理论 层次 、 表 达 与 算法 层次 、 硬件 实现 层次 。 
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计算 理论 层次 主要 











可 答 系统 各 部 分 的 计算 目 


的 与 计算 策略 ;表达 与 算 


法 层次 给 出 各 部 分 的 输入 输出 和 内 部 的 信息 表达 ， 以 及 实现 计算 理论 
所 规定 的 目标 的 算法 ， 而 硬件 实现 层次 则 回答 “如 何 








算法 


图 像 平面 
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〈 虚 拟 像 平面 ) 






相机 坐标 系 




















硬件 实现 以 上 
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1.2 针 孔 相机 成 像 模型 


中 层 阶段 





图 1.3 


M(Xy» Yur Zy) 
r ao A 


在 图 像 坐 标 系 中 ， 对 原始 2D 图 像 进行 处 理 ， 
抽取 图 像 中 的 基本 图 元 ， 如 拐点 、 边 缘 、 纹 


在 相机 坐标 系 中 ， 由 原始 图 像 和 基本 图 元 恢 
复 场景 中 可 见 部 分 的 深度 、 法 向 、 轮 廓 等 ， 





构成 2.5D 图 








在 世界 坐标 系 中 ， 由 输入 图 像 、 基 本 图 元 、 
2.5D 图 来 恢复 、 表 示 、 识 别 3D 物 体 





计算 视觉 理论 的 基本 框架 
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Marr 计算 视觉 理论 无 疑 是 计算 机 视觉 研究 领域 的 划时代 成 就 , 指 
出 了 研究 计算 机 视觉 许多 珍贵 的 哲学 思想 和 研究 方法 ， 同 时 也 给 计算 
机 视觉 研究 领域 开创 了 许多 研究 起 点 。 但 由 于 时 代 的 局 限 性 ， 该 理 
论 不 可 避免 地 存在 一 些 有 争议 的 方面 。 例 如 ， 其 提出 的 计算 框架 基 
本 上 是 单 向 的 ， 没 有 反馈 ， 以 及 对 先 验 知识 的 应 用 没有 引起 足够 重 
视 等 。 

第 二 个 阶段 是 在 20 世纪 末 发 展 起 来 的 “几何 计算 ”视觉 理论 。 
它 把 复杂 的 数学 ， 尤 其 是 射影 几何 引入 到 计算 机 视觉 的 研究 中 ， 形 成 
“多 视图 几何 ” 为 理解 和 形式 化 多 视图 成 像 几何 英 定 了 坚实 的 理论 基 
础 ， 使 得 以 前 被 认为 无 法 求解 或 难以 求解 的 问题 得 以 顺利 解决 。 

需要 指出 的 是 ， 无 论 在 哪个 阶段 ， 基 于 图 像 的 3D 重 构 都 是 计算 
机 视觉 的 一 个 至 关 重 要 的 核心 领域 和 热点 问题 ,也 是 用 计算 机 模拟 人 
眼 视觉 功能 所 需要 完成 的 关键 步骤 。 


























uy 





1.2 ”基于 图 像 的 3D 重 构 


计算 机 视觉 的 终极 目标 是 从 所 “看 ”到 的 场景 中 识别 出 感 兴趣 的 
对 象 , 即 从 2D 图 像 中 重 构 出 3D 对 象 模型 ， 主 要 包含 图 像 处 理 、 模 式 
识别 、 景 物 分 析 、 图 像 理 解 等 基本 处 理 过 程 。 但 是 ， 由 于 投影 过 程 中 
丢失 了 景深 信息 或 因 人 遮挡 而 遗漏 了 部 分 有 用 信息 ， 将 可 能 导致 不 同形 
状 的 3D 对 象 投影 到 图 像 平 面 上 形成 了 相同 或 类 似 的 图 像 ， 这 就 是 投 
BEBE. E 1.4 展示 了 常见 的 投影 歧义 性 。 
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(a) 投影 过 程 丢失 了 比例 信息 (b) 形变 物体 产生 相同 的 图 像 
图 1.4 常见 的 投影 歧义 性 


另外 ， 其 他 因素 的 不 良 影响 ， 诸 如 光线 差异 、 观 察 角度 偏差 、 研 
究 人 员 的 认 知 水 平 与 经 验 存在 较 大 差距 等 ， 都 可 能 给 图 像 重 构造 成 极 
大 的 困难 。 所 有 这 些 都 可 能 导致 基于 图 像 的 3D 重 构 陷入 一 种 病态 。 

在 计算 机 视觉 领域 ， 基 于 图 像 的 3D 重 构 一 直 是 被 普遍 关注 的 研 
究 热点 ， 也 是 大 多 数 基于 计算 机 的 事件 模拟 和 可 视 化 应 用 的 普遍 需 
求 ， 包 括 地 学 分 析 、 机 器 人 导航 、 犯 罪 场景 复原 、 飞 行 模拟 、 游 戏 娱 
乐 、 特 技 表演 、 建 筑 设 计 、 旅 游 指 南 及 虚拟 博物 馆 等 。 另 外 ，3D E 
构 技术 在 考古 及 古迹 保护 方面 也 有 特殊 的 应 用 。 由 于 不 可 预测 的 火 











灾 、 地 震 、 洪 水 、 自 然 腐蚀 、 战 争 等 天 
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抢救 性 保护 ， 需 要 为 子孙 后 代 或 历史 





究 保 留 一 些 珍贵 遗迹 ， 或 者 复 





原 考古 发 现 的 珍贵 文物 ， 这 些 都 需要 借助 3D 重 构 技术 来 修复 、 重 建 。 
另外 ,3D 电视 的 诞生 和 普及 ， 也 需要 通过 3D 重 构 技术 将 现 有 的 大 量 


2D 资源 转换 为 3D 视频 。 所 有 这 些 ， 对 





于 人 类 视觉 系统 而 言 也 许 是 轻 








而 易 举 的 事 ， 但 对 于 机 器 视觉 而 言 ， 则 1 








面临 巨大 的 挑战 ， 既 需要 突破 














现 有 的 理论 瓶颈 ， 又 需要 寻找 合理 可 行 


4 实践 方法 。 
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1.2.1 3D 重 构 的 数学 原理 


人 眼 观察 到 的 都 是 3D 现实 世界 。 使 用 数码 相机 等 普通 设备 对 周 
围场 景 拍照 或 摄像 ， 得 到 的 一 般 是 2D 真实 图 像 ; 或 者 使 用 3D 扫描 设 
备 采 集 3D 场景 数据 ， 再 通过 图 像 重 建 得 到 合成 图 像 。 这 个 过 程 统 称 
为 成 像 。 图 1.5 演示 了 图 像 合 成 的 数学 原理 。 


















































x 6-6 
(a) 场景 (b) EUR 
15 图 像 合成 的 数学 原理 
基于 图 像 的 3D 重 构 可 看 成 上 述 成 像 过 程 的 逆 过 程 , 是 指 根据 2D 
图 像 再 现 3D 物体 形状 。 这 两 个 过 程 中 的 数学 原理 见 表 1-1 和 表 1-2。 
表 1-1 成 像 过 程 及 其 逆 过程 的 数学 原理 







问题 





已 知 量 
S (真实 场景 或 3D 数据 )， 
F (投影 矩阵 ) 
CA 


技术 
图 像 合成 、 摄 像 
等 

3D 重 构 








E 向 过 程 





S 
F 











逆向 过 程 


计算 机 视觉 一 一 基于 图 像 的 3D 重 构 


#1-2 适 定 重 构 与 非 适 定 重 构 的 数学 原理 















问题 已 知 量 








适 定 重 构 | @A)> @A) 立体 视觉 
非 适 定 重 构 | (@F) 意 卓 视觉 





根据 已 知 量 的 组 成 结构 ， 基 于 图 像 的 3D 重 构 技术 大 致 可 分 为 适 
定 和 非 适 定 两 种 类 型 。 
(1) 适 定 重 构 。 即 满足 解 是 存在 的 、 解 是 唯 二 的 、 解 连续 依赖 于 





定 解 条 件 三 个 基本 条 件 。 图 1.6(a) 表 示 了 同一 场景 可 以 对 应 两 幅 以 上 
不 同 的 图 像 。 这 种 情况 下 的 3D 重 构 理论 和 技术 目前 较为 成 熟 ， 较 和 
型 的 是 立体 视觉 重 构 ， 得 到 了 较 广 泛 的 应 用 。 

(2) 非 适 定 重 构 。 即 十 述 三 个 条 件 至 少 有 一 条 不 满足 。 图 1.6(b) 
表示 可 能 存在 两 种 不 同 的 场景 对 应 同一 幅 图 像 。 此 时 由 于 投影 过 程 的 
信息 丢失 , 致使 重 构 所 需 信息 严重 缺乏 , 重 构 过 程 存在 极 大 的 偶然 性 ， 
重 构 结果 不 唯 二 ， 需 要 在 众多 有 歧义 的 解 秘 中 确定 唯一 解 。 非 适 定 重 
构 目前 是 研究 的 热点 ， 也 是 难点 。 
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(a) 适 定 重 构 





图 1.6 适 定 与 非 适 定 3D 重 构 


ssa w 





(b) 非 适 定 重 构 
1.6 适 定 与 非 适 定 3D 重 构 ( 续 ) 





适 定 重 构 与 非 适 定 重 构 的 数学 原理 可 用 表 1-2 描述 。 


由 上 述 可 知 ， 基 于 适 定 重 构 的 立体 视觉 可 以 很 好 地 避免 3D 重 构 


的 病态 现象 。 例 如 ， 对 于 同一 个 场景 ， 采 用 两 个 相机 ， 从 不 
到 多 幅 不 同 视差 的 图 像 ， 从 而 可 得 到 场景 的 深度 信息 。 但 是 
觉 却 可 从 单 幅 图 像 中 轻松 获得 深度 信息 ， 因 为 人 们 可 以 利用 








同 角 度 得 
， 人 类 视 


的 经 验 知识 。 因 此 ， 基于 单 幅 图 像 的 3D 重 构 一 直 是 计算 机 视觉 领域 极 


具 挑 战 性 的 研究 热点 之 一 ， 在 逆向 工程 、 医 学 图 像 辅 助 治疗 、 














考古 及 古迹 保护 、 地 质 考察 、 遗 迹 复原 等 领域 具有 巨大 的 应 





价值 。 





1.2.2 ”发 展 概况 





























式 (1.1) 可 知 , 基于 图 像 的 3D 重 构 的 根本 任务 是 , 根据 2D 图 像 





Am REIHE AM ， 进 而 估算 3D 场景 及 所 包含 对 象 的 深度 





信息 ， 最 终 解决 “图 像 看 起 来 像 什么 ”的 问题 。 其 本 质 是 从 
观察 3D 几何 信息 ， 其 关键 步骤 是 精确 标定 投影 矩 阵 下 。 
1 基本 理论 





























2D 图 像 





目前 较 常 用 的 3D 重 构 理论 是 分 层 重 构 理 论 ， 即 分 三 个 层次 分 别 
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时 象 重 构 。 第 一 个 层次 是 射影 重 构 ， 即 从 图 像 获得 3D 物体 的 射 
阶段 不 需要 附加 任何 先 验 知识 ， 仅 从 图 像 本 身 即 可 获得 所 

\， 第 二 个 层次 是 仿 射 重 构 ， 即 利用 先 验 知识 获得 物体 的 仿 射 结 
构 ， 需 要 知道 无 穷 远 平面 或 无 穷 远 单 应 性 矩阵 ， 第 三 个 层次 是 度量 重 
构 ， 即 利用 先 验 知识 获得 物体 的 度量 结构 ， 一 般 需要 知道 相机 的 内 外 
参数 ， 或 绝对 二 次 曲线 、 绝 对 二 次 曲面 等 可 用 于 标定 相机 参数 的 图 
像 测量 信息 。 

经 过 数 十 年 的 发 展 ， 目 前 已 涌现 出 许多 优秀 的 3D 重 构 理论 、 技 
术 和 算法 ， 有 针对 图 形 的 ， 如 机 械 制 造 中 基于 三 视图 的 重 构 ， 主 
要 目标 是 保证 重 构 结果 的 真实 可 靠 和 理解 上 的 无 二 义 性 ， 有 针对 
图 像 的 ， 如 遥感 图 像 、CT 图 像 等 ， 有 基于 多 视图 的 9-9， 也 有 基 
于 单 视图 的 -1。 

2， 基 本 方法 
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针对 基于 图 像 3D 重 构 过 程 的 主体 对 象 ， 现 有 重 构 方法 大 致 可 分 
为 两 大 类 。 一 类 是 主动 式 ， 即 利用 场景 或 对 象 自身 的 一 些 特征 ， 如 几 
何 特征 和 纹理 特征 等 来 提取 物体 表面 的 3D 信息 并 进行 建 模 。 主 动 式 
重 构 对 工作 环境 、 摄 像 设备 没有 特殊 要 求 ， 容 易 实现 ， 在 军事 、 遥 感 
测量 、 机 器 人 导航 等 方面 有 着 广泛 的 应 用 基础 ， 受 到 各 国 研究 人 员 的 
高 度 重 视 ， 取 得 了 丰硕 的 成 果 ， 涌 现 出 一 大 批 有 效 的 算法 。 其 中 最 著 
名 的 是 SFM(Shape From Motion， 基 于 运动 的 形状 表面 重 构 )03， 并 上 
衍生 出 一 大 类 算法 ， 如 SFPS(Shape From Photometric Stereo， 基 于 
光度 立体 视觉 的 形状 表面 重 构 )、SFS(Shape From Shading， 基 于 明暗 
度 的 形状 表面 重 构 )、SFT(Shape From Texture， 基 于 纹理 的 形状 表面 
重 构 )、SFC(Shape From Contour， 基 于 轮廓 的 形状 表面 重 构 ) 等 。 这 些 
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方法 的 一 个 共同 缺陷 是 , 当 用 于 单 幅 图 像 的 3D 重 构 时 表现 为 病态 解 ， 
因而 需要 对 场景 做 一 些 额外 假定 ， 并 且 需 要 具备 重 构 对 象 的 某 些 先 验 
知识 ， 当 理想 条 件 与 实际 情况 有 较 大 出 入 时 ， 重 构 结果 可 能 变 得 面目 
全 非 ， 而 且 难 以 获得 高 精度 的 3D 信息 。 另 一 类 是 被 动 式 呈 -9， 即 需 
要 手工 在 物体 表面 做 某 种 标记 ， 如 条 纹 或 阴影 ， 并 且 根据 这 些 信 息 建 
模 或 由 传感器 获得 三 维 信息 。 因 此 ， 这 种 方式 需要 使 用 专门 的 扫描 光 
源 等 比较 复杂 的 设备 ， 故 获取 的 3D 信息 精度 较 高 。 

目前 主要 是 利用 激光 扫描 的 各 种 结构 光 方 法 ， 但 其 设备 比较 复 
杂 ， 体 积 、 重 量 比较 大 ， 造 价 也 十 分 昂贵 ”其 作用 距离 也 比较 短 。 
目前 的 大 多 数 技 术 都 需要 分 析 提取 真实 世界 的 2D 几何 特性 , 如 垂直 
HUN, RSP TOS, RISE RIO 对 称 结构 P 等 。 对 于 单 幅 图 像 通常 
需要 交互 处 理 ， 即 由 用 户 提供 场景 的 结构 信息 和 约束 条 件 ， 如 消 隐 
点 、 消 隐 线 、 共 面 等; 交互 3D 重 构 0354352223242520 不 需要 相机 的 任 
何 先 验 知识 ,可 在 重 构 过 程 中 根据 获得 的 信息 估计 相机 的 各 类 参数 。 

若 根据 -3D 重 构 对 象 的 不 同 ， 也 可 大 致 分 为 两 类 : 一 是 照片 几何 
方法 ， 即 基于 照片 中 几何 对 象 的 模型 化 ， 二 是 光度 测量 法 ， 主 要 基于 
光度 测量 模型 化 。 不 同 的 具体 应 用 背景 ， 对 所 需 输入 信息 的 需求 也 不 
一 样 。 有 的 重 构 任务 仅 需 要 3D 空间 点 的 稀疏 集 即 可 ， 即 只 需要 输入 
图 像 的 少 部 分 像素 信息 。 而 有 的 重 构 任 务 则 需要 稠密 重 构 ， 需 要 考察 
输入 图 像 的 每 一 个 像素 的 尽 可 能 多 的 信息 。 另 外 还 可 能 需要 其 他 一 些 
重要 的 信息 ， 诸 如 物体 对 象 的 尺寸 、 形 状 及 材质 ， 输 入 图 像 的 数量 ， 
光源 或 相机 的 相对 位 置 等 。 

3. 基本 问题 
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关于 3D 重 构 ， 主 要 涉及 三 个 问题 。 
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(1) 输入 数据 的 数量 或 类 型 。 这 依赖 于 输入 视图 的 多 少 。 多 视 

重 构 S459 使 用 场景 或 对 象 的 两 个 以 上 的 视图 ， 而 单 视图 中 仅 使 用 间 
个 视图 。 立体 视图 "是 多 视图 的 特例 ， 使 用 两 个 视图 。 
(2) 输出 的 一 般 化 描述 。 主 要 有 容积 表示 和 表面 表示 中 站。 容积 
表示 将 包围 物体 的 体积 离散 化 为 体 元 ， 从 而 估计 可 以 按 某 种 度量 规则 
拟 合 输入 图 像 的 体 元 的 占有 率 。 表 面 表示 法 为 物体 构造 虚拟 的 网 状 覆 
盖 面 9， 即 可 观察 的 外 部 轮廓 。 一 般 来 说 ， 多 视图 重 构 采用 一 般 化 表 
示 法 ， 较 少 使 用 先 验 知识 。 

(3) 先 验 知识 的 复杂 性 。 为 了 保证 更 多 的 对 象 能 被 精确 估计 ， 通 
常 定义 概率 密度 ( 即 能 量 函 数 ) 作 为 二 种 先 验 知识 ， 可 用 于 定义 两 个 重 
构 结果 之 间 的 微小 差异 。 例 如 ;容积 表示 中 的 平滑 性 I、 削 面 的 平坦 
PEPY, 角度 的 相似 性 B3、 基 于 表面 重 构 的 长 度 59 能 量 函数 的 平滑 性 四、 
连接 角 的 生存 发 育 性 外 等 。 相 比 于 强制 约束 ;定义 先 验 知 识 的 好 处 是 ， 
可 以 针对 特定 数据 自动 训练 出 先 验 知识 ; 而 不 必 重 新 设计 新 的 表示 方法 。 

正如 前 面 所 述 ， 基 于 图 像 的 3D 重 构 是 一 个 病态 逆向 问题 ， 如 果 
没有 额外 的 假定 条 件 ， 基 于 单 幅 图 像 的 重 构 可 能 存在 无 数 解 ， 这 是 因 
为 存在 歧义 性 或 存在 重合 图 案 。 因 此 ， 需 要 附加 某 些 假定 条 件 以 消除 
或 缓解 歧义 性 。 但 是 ， 这 些 假 定 通常 并 非 总 是 有 效 ， 尤 其 在 实际 世界 
中 ， 如 树 、 丛 林 等 。 另 外 ， 即 使 消除 了 歧义 性 ， 获 得 精确 解 仍 然 是 个 
难题 。 因 为 在 成 像 过 程 中 不 可 避免 地 存在 各 种 噪声 和 畸变 失真 ， 这 些 
现象 都 难以 被 模型 化 或 有 效 补 偿 。 因 此 ， 根 据 具 体 的 场景 构 型 寻找 一 
种 有 效 、 健 壮 的 数学 模型 是 3D 重 构 的 核心 问题 。 例 如 ， 若 已 知 研究 
对 象 是 一 辆 汽车 ， 则 可 使 用 特殊 模型 (对 称 性 、 轮 胎 椭 圆 性 等 ) 来 约束 
上 述 重 构 模型 。 其 他 的 ， 诸 如 城市 街道 、 建 筑 物 、 天 体 图 像 等 都 可 按 
这 种 思路 进行 。 
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1.3 ”基于 单 幅 图 像 的 3D 重 构 


基于 单 幅 图 像 的 3D 重 构 是 计算 机 视觉 领域 最 具 挑战 性 的 研究 热 
点 ， 由 于 其 所 能 提供 的 信息 非常 有 限 ， 因 此 是 一 个 经 典 的 非 适 定 病态 
难题 。 但 是 , 对 于 人 类 视觉 系统 来 说 ,可 以 借助 一 些 关 于 所 研究 对 象 
的 先 验 知识 或 日 常 经 验 常识 来 从 单 幅 .2D 图 像 恢 复 3D 模型 。 因 此 ， 
很 多 研究 人 员 根 据 这 个 原理 ， 提 出 了 很 多 假设 条 件 ， 如 几何 形状 的 
平坦 性 M3、 平行 性 及 垂直 性 时 、 表 面 纹理 的 畸变 性 中 、 局 部 表面 平 
滑 性 时、 明暗 渐变 性 员 、 散 焦 或 聚焦 性 9、 人 机 交互 方法 时 等 ， 试 
图 根据 单 幅 图 像 再 现 空间 场景 。 这 些 方 法 统称 为 有 约束 重 构 问题 。 
它们 的 缺点 是 ;- 这 些 先 验 知识 二 般 是 试探 性 的 ， 仅 适合 于 特殊 场合 
或 特定 领域 问题 ， 如 人 脸 EB9、 建 筑 物 PC、 医学 图 像 e 等 ， 难 以 推广 
到 一 般 模 型 。 

从 数学 原理 角度 看 ， 基 于 单 幅 图 像 的 3D 重 构 主 要 依据 图 像 
中 包含 的 深度 信息 z(x,y)、 表 面 法 向 N(x,y,z)、 表 面 梯度 (p,q) » 
以 及 表面 的 倾角 和 和 斜 角 等 信息 恢复 表面 形状 。 图 1.7 是 一 个 典型 
的 例子 。 
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1.7 ”根据 表面 法 向 重 构 表面 形状 





上 面 所 述 的 深度 信息 可 以 是 相机 和 对 象 表面 点 之 间 的 距离 ， 也 可 
以 是 表面 与 参考 平面 XY 之 间 的 相对 距离 。 表 面 法 向 是 指 垂直 于 对 
象 表面 某 点 的 切 平面 的 法 向 。 表 面 梯度 (p,q)=(6z / Ox, Oz / Oy) 是 指 深 
度 信息 在 x,y 方 向 上 的 变化 率 。 倾 角 p 和 和 斜 角 9 是 指 表面 点 相对 于 法 
向 的 角度 , 可 表示 为 (x,y,z)=(l1singcos9,lsinGsin9,1cosp)，, 其 中 1 是 
表面 法 向 的 一 个 度量 。 在 计算 机 视觉 中 ， 从 图 像 恢 复 形 状 的 技术 统称 
为 SFX(Shape From X)， 其 中 的 X 可 以 是 明暗 度 (shading)、 纹 理 
(texture)、 立 体 视 觉 (stereo)、 运 动 (motion) 等 。 目 前 较 有 影响 的 是 SFS 
和 SFT， 下 面 分 别 做 一 些 探讨 。 













































































1.3.1 SFS 


SFS 是 计算 机 视觉 中 的 经 典 研究 热点 问题 ， 主 要 根据 图 像 中 明暗 
(阴影 ) 渐 变性 来 恢复 表面 法 向 和 表面 形状 (深度 )。 其 基本 步骤 是 : 首先 
将 图 像 的 像素 光亮 度 ( 有 时 称 为 光 强 ) 模 型 转化 为 表面 几何 的 函数 ， 然 
后 恢复 一 个 表面 ， 再 生成 一 个 图 像 ， 以 逼近 给 定 的 原 图 像 。 


1， 阴 影 几 何 基础 














艺术 家 们 很 早 就 注意 到 阴影 在 3D 绘图 中 的 重要 性 , 可 用 来 表示 场 
景 的 表面 形状 或 空间 位 移 。 图 1.8 展示 的 虽然 是 2D 图 像 ， 但 仍然 表现 
出 强烈 的 3D 结构 。 








ATN 
™ 
(a) 内 阴影 : 提供 形状 感知 的 凸 角 信 息 和 场景 照明 方向 信息 


1.8 阴影 在 3D 表面 感知 中 的 重要 作用 
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(b) 外 阴影 





提供 对 象 的 相对 位 置 和 方向 的 线索 信息 
图 1.8 阴影 在 3D 表面 感知 中 的 重要 作用 ( 续 ) 

(1) 内 阴影 由 物体 对 象 在 自身 形成 沿 着 内 阴影 边界 的 点 提供 了 
表面 形状 约束 ， 可 作为 表面 感知 的 边界 约束 。 内 阴影 包括 两 种 类 型 : 
attached 阴影 和 cast 阴影 。attached 阴影 区 域 包含 了 法 向 方向 背离 光源 
方向 的 表面 上 的 点 , 而 cast 阴影 区 域 包 含 的 点 面向 光源 ， 但 被 表面 的 

-个 末梢 部 分 遮挡 ， 也 就 是 说 ，cast 阴影 区 域 包含 了 表面 上 被 遮挡 的 
点 ， 如 图 1.9 所 示 。 





cast 阴 影 


attached 阴 影 








图 1.9 attached 阴影 和 cast 阴影 
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D 外 阴影 由 一 个 发 光 的 物体 投射 光线 到 另 一 个 物体 上 而 形成 。 
外 阴影 轮廓 提供 了 表面 的 几何 信息 ， 而 内 阴影 提供 了 表面 上 明暗 图 案 
的 一 个 粗粮 的 感知 结果 。 

不 过 ， 由 阴影 提供 的 信息 性 质 上 不 同 于 由 明暗 提供 的 信息 ， 前 者 
本 质 上 包含 在 由 阴影 边界 、 表 面 、 光 照 几 何等 构成 的 曲线 之 间 的 几何 
关系 中 。 MH 自然 观察 条 件 下 的 阴影 并 非 仅 是 等 照度 线 的 一 种 特例 。 
这 里 所 说 的 等 照度 线 是 指 图 像 中 亮度 恒 等 的 曲线 集合 ， 由 多 个 因素 决 
定 ， 包 括 表 面 的 内 部 反射 及 表面 间 的 交互 反射 等 。 

阴影 包含 了 图 像 分 割 的 多 种 线索 ”至 少 在 理论 上 可 以 被 准确 度 
量 。 人 们 研究 阴影 ， 目 的 是 构造 SFS 方法 ， 可 用 于 解决 计算 机 视觉 领 
域 的 多 个 问题 。 例 如 ， 沿 着 内 阴影 边界 的 点 提供 了 表面 形状 的 约束 ， 
可 用 于 表面 插值 的 边界 条 件 。 在 阴影 内 部 区 域 ， 如 被 遮挡 的 轮廓 ， 可 
于 约束 SFS。 

基于 阴影 边界 的 主要 约束 是 : :GD 沿 着 一 个 attached 阴影 轮廓 的 点 
处 的 表面 法 向 垂直 于 光源 方向 ，@@ 图 像 中 位 于 同一 光束 的 attached 和 
cast 阴影 中 的 点 ， 位 于 3D 中 同一 光束 上 。 虽 然 SFS 问题 是 显著 约束 
不 足 的 ， 但 人 类 却 可 以 感知 出 唯一 的 、 稳 定 的 形状 。 

感知 SFS 的 理论 线索 主要 有 以 下 几 个 方面 。 

(1) 反射 图 。 将 场景 图 像 的 光亮 度 表 示 为 3D 表面 方向 的 一 个 函 
数 ， 忽 略 阴影 、 内 部 交互 反射 、 渐 早 、 半 透明 等 现象 ， 如 图 1.10 
所 示 。 
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(a) 光照 方向 [0,0,1] 











(b) 图 (a) 的 反射 区 




















(c) 光照 方向 [1,0.5,1] 


图 1.10 反射 图 与 光照 方向 的 关系 











(d) 图 (0) 的 反射 图 


A110 反射 图 与 光照 方向 的 关系 ( 续 ) 





(2) 等 照度 线 也 称 等 光亮 度 轮廓 是 指 图 像 中 亮度 为 恒定 常数 的 
曲线 ， 如 图 1.11 所 示 。 等 照度 线 依 赖 于 光源 照明 度 和 对 象形 状 ， 若 已 
知 光源 ， 可 以 根据 等 照度 线 图 揭示 出 形状 信息 。 人 类 视觉 系统 正 是 使 
用 了 这 种 线索 。 




















(a) RE 
图 1.11 等 照度 线 
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(b) 等 照度 线 图 
1.11 等 照度 线 ( 续 ) 
2. SFS 理论 基础 


SFS 是 典型 的 非 适 定 问题 ， 其 数学 原理 如 图 1.12 所 示 。 








图 1.12 SFS 数学 原理 
SFS 的 输入 为 图 像 明暗 渐变 性 ， 输 出 为 -、06 、p、0、Wp。 最 
著名 的 SFS 模型 是 光 程 方程 (也 称 短 时 距 方 程 )， 基 于 一 阶 偏 微 分 方程 
和 非 线 性 方程 理论 。 需 要 假定 一 些 约束 条 件 ， 如 照片 是 清晰 的 、 相 机 
己 光 测度 标定 、 前 置 光源 是 平行 光 且 分 布 均匀 、 表 面 是 Lambertian 模 
型 且 可 微 等 ， 且 忽略 内 部 交互 反射 现象 。 图 1.13 所 示 的 图 像 均 符合 上 
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述 假定 条 件 





图 1.13 符合 光 程 方程 的 图 像 示例 
3. SFS 技术 基础 


HornP9 首 次 系统 阐述 了 SFS 表面 重 构 模式 , 即 假设 已 知 一 个 无 穷 
远 光 源 ， 物 体 表 面 呈 Lambertian 反射 率 和 均匀 分 布 的 恒定 反照 率 ， 平 
滑 表 面 且 不 存在 内 部 交互 反射 ， 并 已 知 边界 约束 条 件 。 在 这 样 的 假定 
下 ， 图 像 中 某 像素 的 灰 度 级 仅 依赖 于 光源 方向 和 表面 法 向 。SFS 的 基 
本 任务 是 ， 基 于 给 定 的 单 幅 图 像 ， 恢 复 表 面 每 一 点 的 光源 方向 和 表面 
形状 ， 如 图 1.14 所 示 。 
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(b) SFS 结 果 


1.14 SFS 表面 重 构 示例 


SFS 方法 实质 上 定义 了 表面 形状 与 明暗 之 间 的 映射 关系 ， 即 反射 
SPA BLT, = R(p,q)， 其 中 工 ,表示 图 像 像素 强度 ，p=z,，g=z,， 
ZIRE, (x,y) 为 3D 对 象 空间 坐标 的 投影 。 若 假设 为 正 投影 ， 且 表 
面 为 Lambertian 反射 模型 ， 则 得 到 下 面 的 亮度 约束 。 
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其 中 ， (k, D/K D| ÆRA. SFS 的 基本 任务 是 ， 估 计 
式 (1.2) 中 的 未 知 量 ， 即 表面 反照 率 p, ,及 表面 深度 z(x,y) HTA 
道 图 像 强度 ， 因 此 ， 同 时 估计 反照 率 和 表面 深度 是 一 个 病态 问题 。 一 
个 惯例 是 假设 一 个 常量 表面 反照 率 ， 但 仅 根据 这 个 单纯 的 假设 来 从 实 
际 图 像 中 估计 深度 信息 是 非常 脆弱 的 。 因 此 ， 通 常 还 需要 另外 强加 一 
些 约 束 条 件 。 例 如 ，Shimshonip2 和 Chelloppafo40 等 侧重 研究 对 称 物 
体 的 SFS 重 构 问 题 ， 如 人 脸 、 车 辆 、 建 筑 物 等 规则 对 象 的 重 构 。 

但 是 真实 图 像 并 非 总 是 Lambertian 类 型 ， 即 使 假设 其 是 
Lambertian 反射 的 ， 且 已 知 光 源 方向 ,同时 光亮 度 可 以 描述 为 表面 形 
状 和 光源 方向 的 函数 ， 仍 然 难以 轻易 得 到 理想 的 结果 。 因 为 ， 假 设 用 
表面 法 向 来 表示 表面 形状 ， 得 到 一 个 含有 三 个 未 知 量 的 线性 方程 ; 
若 采用 表面 梯度 来 表示 表面 形状 ， 则 得 到 一 个 含有 两 个 未 知 量 的 非 




























































































线性 方程 。 所 以 > 若 想 从 SFS 得 到 唯一 解 ， 必须 附加 额外 的 假设 条 
(PBA, R 1-3 列 出 了 较 典 型 的 三 类 方法 的 求解 模式 。 
表 1-3 三 类 经 典 SFS 方法 的 性 能 比较 








方法 
偏 微分 方程 法 
最 优化 法 WEW S : F(S) =Ø 
模型 逼近 法 需要 JBL S : F(S)~O 


还 有 一 种 类 似 SFS 的 重 构 方法 是 SFPS， 其 与 SFS 的 差别 仅 在 于 
输入 图 像 的 数目 ，SFPS 是 根据 同一 场景 的 多 幅 图 像 重 构 ， 即 视 向 不 
变 ， 而 光源 方向 不 同 。 
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1.3.2 SFT 


SFT 模式 在 多 年 前 由 Gibson [3 首次 提出 ， 指 出 纹理 可 以 提供 重 
要 的 形状 线索 。SFT 通常 度量 图 像 中 的 纹理 畸变 ， 重 构 3D 表面 4 
标 玉 “1。 严 格 来 讲 ， 某 点 处 的 表面 由 表面 法 向 与 该 点 处 的 表面 曲率 
确定 。 由 于 曲率 方程 相当 复杂 ， 不 易于 计算 ， 因此， 一 般 的 SFT 方 
法 主要 关注 通过 表面 法 向 来 重 构 表面 形状 ， 即 根据 纹理 元 素 的 畸变 
信息 恢复 表面 法 向 。 图 1.15 所 示 是 一 个 葡萄 的 SFT 结果 。 














BS 























(a) 原 图 (b) 纹理 区 域 (c) 表面 法 向 








(d) 深度 图 (e) 重 构 结果 
1.15 使 用 SFT 恢复 表面 法 向 示例 











SFT 的 输出 一 般 是 表面 法 向 的 深度 图 。SFT 也 是 严重 约束 不 足 问 
题 ， 要 实现 从 图 像 的 纹理 畸变 恢复 表面 法 向 ， 大 多 需要 一 些 假设 。 例 
如 ， 假 设 相机 是 已 标定 的 或 是 正 投影 ， 也 可 假设 纹理 的 类 型 ， 如 各 项 
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性 的 、 正 则 性 的 、 同 质 的 等 。 
所 以 ，SFT 主要 用 于 解决 特定 类 型 的 纹理 表面 "1 。 本 书 不 进行 全 
HIRI, TESS 4 章 仅 对 二 进 制 歧义 性 纹理 做 进一步 讨论 。 




















1.4 歧义 性 问题 





生理 学 研究 表明 ， 人 类 视觉 总 是 试图 将 图 像 解释 为 3D 表面 结 
BOOP? S545) AY 3D 感知 能 力 是 人 类 视觉 的 核心 ， 在 对 世界 的 
认 知 与 识别 中 扮演 着 重要 角色 。 但 是 ， 由 于 单 幅 图 像 3D 重 构 的 固有 
歧义 性 ， 人 们 从 不 同 视 点 观察 得 到 的 同一 表面 的 估计 结果 也 可 能 是 不 
相同 的 。 

计算 机 视觉 的 基础 研究 表明 50， 对 于 任意 一 个 图 像 对 ， 存 在 一 个 
Lambertian 表面 ， 即 在 两 种 不 同 光 照 条 件 下 产生 两 幅 图 像 5)。 这 意味 
着 ， 不 存在 表面 图 像 的 任何 一 个 非 平 凡 函 数 ， 能 在 照度 变化 时 保持 完 
全 不 变 。 因 此 ， 单 幅 图 像 的 3D 重 构 问题 是 严重 约束 不 足 的 ， 不 可 各 
免 地 存在 歧义 性 ， 必 须 增 加 一 些 假设 条 件 ， 如 深度 、 明 暗 、 纹 理 畸 变 
等 ， 这 些 性 质 在 投影 图 像 中 留 下 了 一 些 有 用 的 暗示 线索 。 基 于 单 幅 图 
RAY 3D 重 构 方法 正 是 充分 利用 了 这 些 遗留 痕迹 。 

歧义 性 大 致 可 分 为 局 部 歧义 性 和 全 局 歧义 性 两 类 。 在 局 部 区 域 ， 
关于 深度 的 暗示 信息 一 般 具 有 很 大 的 歧义 性 ， 因 此 ， 若 想 从 一 个 较 小 
的 图 像 窗口 中 恢复 3D 形状 是 不 可 能 的 。 

图 1.16 所 示 即 为 局 部 歧义 性 ， 仅 通过 将 图 案 上 下 倒置 ， 即 可 产生 
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不 同 的 感知 效果 。 
aa & 
wo v 
A a 
v v v 
A A A 
> v 
A A 
© v v 
(a) BA (b) 感知 为 凹 


图 1.16 局 部 歧义 性 示例 


全 局 歧义 性 的 情况 一 般 存 在 于 整体 性 重 构 方案 中 。 图 1.17 所 示 的 
是 in/out Necker 倒置 歧义 性 。 





(a) Necker 立 方 体 (b) 不 可 能 的 立方 体 





(c) 上 左 视角 结果 (d) 下 左 视角 结果 


117 ”全 局 歧义 性 示例 





in/out Necker 倒置 歧义 性 


第 1 章 绪论) 














Necker 立方 体 由 Necker 等 于 1832 年 首次 提出 站。 由 于 Necker 
立方 体 具 有 很 强 的 歧义 性 ， 常 用 于 测试 人 类 视觉 系统 的 计算 机 模型 ， 
判断 其 能 否 达 到 和 人 类 视觉 系统 感知 一 样 的 解释 结果 。 如 果 立 方 体 棱 
边 以 不 相 容 方式 交叉 ， 则 不 可 能 构成 几何 物体 ， 如 图 1.17(b) 所 示 。 人 
类 通常 不 会 看 到 立方 体 的 一 个 不 相 容 的 结果 。 对 于 如 图 1.17(a) 所 示 的 
Necker 立方 体 ， 大 多 数 人 首先 看 到 的 是 如 图 1.17(c) 所 示 的 面 ， 这 可 能 
因为 人 们 是 从 上 面 俯视 物体 ， 而 且 是 从 左 到 右 扫 描 物体 。 如 果 换 一 种 
观察 角度 ， 会 得 到 如 图 1.17(d) 所 示 的 另 一 种 效果 。 

歧义 性 研究 很 重要 ， 因 为 歧义 性 揭示 了 基于 特定 假设 的 自 底 向 上 
重 构 方法 的 局 限 性 ， 而 不 管 所 用 的 优化 过 程 有 多 么 成 功 。 正 是 由 于 层 
义 性 的 广泛 存在 ， 使 得 人 们 对 单 图 像 3D 重 构 的 研究 热情 在 很 长 一 段 
时 间 内 降 到 冰点 ， 直 到 最 近 数 年 才 又 逐步 得 到 重视 。 

















































































































1.5 ”基本 约束 模式 


本 书 主要 解决 单 幅 图 像 的 表面 重 构 问 题 。 由 于 上 述 歧义 性 的 广泛 
存在 ， 因 此 需要 增加 必需 的 约束 条 件 。 下 面 简单 介绍 表面 重 构 的 基本 
约束 模式 。 

通常 将 一 个 表面 表示 为 一 个 函数 z(x,y)， 包 含 N 个 点 Yz) 
通过 一 个 基 函 数 妇 与 一 个 参数 向 量 v 关联 , 即 (5，……zw) = Bv 。 例 如 ， 
在 一 个 机 格 上 的 一 个 高 度 图 具有 一 个 平凡 基 B=I，v=(z,…,zw) o 

基 函 数 的 选择 主要 考虑 在 基 函 数 数量 与 保 真 度 之 间 取 一 个 折 中 。 
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在 数学 上 ， 这 种 线性 表示 是 相似 的 ， 它 们 之 间 可 以 相互 转换 。 也 就 是 
说 ， 如 果 


(Z Zy)" = Bw, ~ Bw, (1.3) 








利用 伪 逆 算 子 得 到 








v, = BY B,v, (1.4) 


这 样 , 在 一 个 线性 表示 中 指定 的 约束 , 可 投射 到 另 一 个 线性 表示 。 
线性 表示 的 好 处 是 ， 表 面 的 深度 和 导数 都 是 简单 的 线性 函数 。 例 如 ， 
EAEE ARAR p Sza ayo My = Sayan Zy RIEL 
表面 导数 。 
i 的 法 向 是 一 个 向 量 ; (p,q) 有 时 候 ， 也 可 用 slant 
f o 和 tilt 角 7 来 表示 单位 法 向 向 量 ， 如 图 1.18 所 示 。 















































K 



































1.18 slant ÆFA tilt 角 














slant 角 为 视线 与 法 向 NN 之 间 的 夹 角 o 。 平 面 z GHARA, w 
交点 即 为 坐标 系 的 原点 ， 法 向 N 在 平面 上 的 投影 为 N'，N' 与 廊 轴 
的 夹 角 就 是 tilt 角 r 。 这 种 (o,7) 表示 类 似 于 地 理学 上 的 (维度 ,经 度 )。 
在 这 样 的 表示 中 ， 单 位 法 向 向 量 为 (sinccosr,sinasinr,cosa) 。 
































1， 线 性 约束 
线性 约束 是 迄今 研究 的 最 多 的 一 类 约束 ， 如 表 1-4 所 示 。 
表 1-4 常见 的 线性 约束 


深度 

共 面 点 
法 向 

法 向 摆 角 





2， 离 散 约束 


离散 约束 最 典型 的 是 二 进 制 (符号 ) 的 歧义 性 ， 如 图 1.17 中 所 示 的 
Necker in/out 倒置 歧义 性 。 这 种 歧义 性 一 般 出 现在 SFT 分 析 中 。 另 一 
种 重要 的 二 进 制 歧义 性 是 Perkins 立方 体 角色 人 0， 即 三 个 互 垂 线 的 交 
点 ， 如 图 1.19 所 示 。 











1.19 Perkins 的 立方 体 角 
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3. SRA 





例如 ， 法 向 分 别 为 (-P,-g,D 和 (-p,,-q,,D) 的 两 个 














坦 削 





交 约束 ， 可 以 写成 pq + p,q;+1=0。 这 部 分 内 容 将 在 第 5 BEA 


介绍 。 





的 了 








第 2 章 | 
3D 表面 成 像 及 
优化 方法 


S 计算 机 视觉 一 基于 图 像 的 3D EH 





常 所 见 的 图 像 大 多 数 是 光学 成 像 的 结果 , 如 太阳 光 、 白 炽 光 等 。 
根据 图 1.2， 要 获得 一 个 3D 场景 所 对 应 的 2D 图 像 ， 要 经 过 复杂 的 几 
何 变 换 、 射 影 变 换 等 过 程 ， 并 且 要 考虑 具体 所 用 的 相机 模型 。 在 第 3 
4、5 章 介绍 的 基于 单 幅 图 像 的 3D 重 构 技术 中 ， 将 会 使 用 到 一 些 特殊 
的 数学 分 析 方法 ， 如 半 定 规划 、 同 伦 分 析 法 等 。 为 便于 后 续 章 节 的 分 
述 与 阅读 ， 本 章 将 简要 介绍 这 些 基础 知识 ， 重 点 盖 述 这 些 知识 与 本 书 
拟 解决 问题 之 间 的 内 在 联系 。 














2.1 3D 表面 概念 


图 2.1 描述 了 _ 3D 表面 的 直观 概念 。 一 个 表面 可 表示 为 方程 
z= f(x,y), 包含 了 表面 方向 和 深度 信息 。 





2.1 一 个 3D 表面 


表面 的 法 向 量 表示 为 


(2.1) 
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2.1.1 表面 的 形式 化 定义 





下 面 给 出 3D 表面 的 形式 化 定义 。 
定义 2.1(3D 表面 ) 
ZERE R 中 的 一 个 平滑 表面 定义 为 一 个 子 集 Xc RR;， 

















Hg 











Hi 


每 一 个 点 对 应 一 个 邻 域 UcXX。 存 在 一 个 映射 +: 玉民 满足 下 述 条 


件 ， 








K H o 











FLV CR’. 
(1) r:V >U 是 一 个 拓扑 同 构 的 。 
(2) rw,v)=(x(wsv,y(u,v),z(u,v))) 具 有 全 阶 导数 。 


(3) 每 一 点 的 偏 导数 = Or | Our, = Or /Ov 是 线性 无 关 的 。 


定义 2.1 从 拓扑 层面 描述 了 一 个 表面 ， 关 定义 了 一 个 同 质 的 映射 
:0 一 太 。 上 述 条 件 C2) 和 (3) 可 用 隐 函 数 定理 来 理解 ， 即 若 将 下 中 
的 变量 局 部 倒转 ， 将 直接 产生 3D 表面 :对 于 任意 两 个 开放 集 U,U'， 
得 到 一 个 从 二 个 开放 集 到 另 一 个 开放 集 的 平滑 倒转 映射 。 这 意味 着 每 
个 映射 @y op 是 一 个 平滑 的 拓扑 同 构 。 这 样 就 可 得 到 下 面 的 3D 表面 
的 抽象 化 定义 。 


定义 2.2( 表 面 的 抽象 定义 ) 














若 一 个 表面 拥有 一 类 拓扑 同 构 p, ， 其 中 每 个 映射 mW ,gz 是 一 个 
平滑 可 逆 的 拓扑 同 构 ， 则 称 为 平滑 表面 。 图 2.2 所 示 为 较 常 见 的 平滑 
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— 





(a) BRA (b) 环 面 
r(u,v) = asinusinv, + acosusinv, r(u,v) =(a+bcosu)(cosv, + sinv,) 
+acosv, + beosu, 
i 


(c) 旋转 表面 
r(u,v) = f(u)(cosv, +sinv,) 





A22 ”常见 平滑 表面 











2.1.2 第 一 基本 型 


定义 2.3( 表 面 上 的 平滑 曲线 ) 
一 条 位 于 表面 上 的 平滑 曲线 是 一 个 映射 ， 即 下 面 的 映射 
th (u(t), v(t)) 
且 具 有 全 阶 导 数 ， 则 y(t) =ru, ARA R 上 的 一 条 平滑 曲线 ， 如 
图 2.3 所 示 。 
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fioa 7 iw y'dt = {yeaa r,v'\(r,u'+ rv) dt 


图 2.3 位 于 表面 的 平滑 曲线 

一 条 参数 化 的 曲线 意味 着 xD,yO 有 全 阶 导 数 ， 且 
yi=ru'tny' zx0。 根 据 上 述 定义 ,六 下 是 线性 无 关 的 ， 因 此 ， 该 条 件 
SE TF (u'v') #0. 

在 一 条 曲线 上 , Na 点 到 0 点 的 弧 长 定义 为 





定义 2.4 (第 一 基本 型 ) 


R (2.2) 
= | VEu'2Fu'v'+ Gv'dt 
ERREP, -ARME ERER 
Edu? +2Fdudv + Gdy? (2.3) 














其 中 ， Barer, Foner, Garr, -EREE 
第 











项 形式 O(v,v)=v.v， 对 应 一 个 切 空 间 ，x,,r, 为 该 空间 的 基 。 第 一 基 
的 内 在 几何 特性 。 


本 型 描述 了 表 夯 
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2.1.3 第 二 基本 型 








将 表面 r(u,v) 沿 着 其 法 向 移动 一 个 + 距离 ， 从 而 得 到 一 个 表面 簇 


























R(u,v,t) =r(u,v)— tn(u,v) (2.4) 
HH, R,=r,-tn,> R, =r,-tn, o 
若 已 知 第 一 基本 型 Edu? + 2Fdudv + Gdv? > MTI (2.5) 计算 
10 2 2 2 
Ja ee + 2Fdudv + Gdv )| =-(r, n, du” +(r,-n, +r, +n, )dudv 
+r, -n,dv°) (2.5) 
式 (2.5) 的 右 端 二 般 称 为 第 二 基本 型 。 


定义 2.5( 第 三 基本 型 ) 
R 中 一 个 表面 的 第 二 基本 型 表示 为 

















Ldu? + 2Mdudv + Ndv 














Hr, Ler -n, M=r,-n, N=r -no 
定理 2.1( 表 面 是 平面 的 一 部 分 ) 
如 果 一 个 表面 的 第 二 基本 型 消失 了 ， 则 该 表面 就 是 一 个 平面 的 一 
部 分 ， 称 为 局 部 平面 。 
证 明 : 
若 表 面 的 第 二 基本 型 消失 ， 即 六 :下 =0=7 n, =r, n, =r, 
in, =n, =0。 
于 nn,、n, 垂直 于 n， 因 此 是 x,,r, 的 线性 组 合 。 这 意味 着 是 常 
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量 ， 即 
ae 
(r-n),=r,-n=0 
因此 ，r.n 是 常量 ， 即 为 平面 方程 。 
定理 2.2( 闭 合 表面 上 的 点 的 正定 性 ) 
HFR 中 的 任意 一 个 闭合 表面 X， 依 有 一 些 点 ， 在 这 些 点 上 的 
第 二 基本 型 是 正定 的 。 
证 明 : 
于 XX 是 闭合 的 ， 因 此 为 有 界 ， 可 被 一 个 大 球 围 绕 。 可 不 断 地 压 
意 该 球 ， 直 到 半径 RR 边 缘 停 靠 在 X 的 一 个 点 土 。 若 将 六 描述 为 R 
数 图 ， 则 有 


f-(R-JR-¥ -y)>0 (2.6) 
A (2.6) 泰勒 级 数 的 第 一 个 非 零 项 为 


1 2 2, 12 2 
7 ur + 2f Vt fy) aR +y) (2.7) 





四 


i HL +2Mo+ Ny 之 二 (w+ 六 )>0， 即 为 正定 的 。 
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2.2 光照 模型 


2.2.1 光源 与 辐 照度 


假设 一 束 光 射线 位 于 一 个 管 带 内 ， 与 管 带 的 两 端 相交 ， 但 与 侧 边 
不 相交 ， 如 图 2.4 所 示 。 





2.4 光照 模型 


1， 辐 照度 








辐 照 度 用 于 度量 光 射 线 碰撞 测试 对 象 时 所 产生 的 能 量 
1(4, 吉 ,, 坝 )， 其 中 去 ,为 碰撞 点 位 置 ， 友 ,为 表面 法 向 ,如 图 2.5(a) 所 示 。 























2. 光源 辐 照度 


设 光源 方向 为 亏 ， 一 般 指 从 测试 点 目 视 光 源 的 方向 ， 通 常 定义 为 
该 方向 上 的 单位 向 量 。 
如 图 2.5(b) 所 示 ， 光 源 方向 等 于 表面 法 向 ， 即 元,= 工 ， 此 时 
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1(A,%, 4, ) BHA IAD) 。 


SS 


wal 测试 区 


(a) 辐 照 参数 


点 光源 





l 

% 
i 

Jl 

| 

| 

= 

5 

x 


(b) 光源 辐 照度 (c) 表面 辐 照 度 
图 2.5 辐 照 过 程 
3. 表面 辐 照 度 
考虑 元 # 工 的 一 般 情况 ， 如 图 2.5(c) 所 示 。 光 射线 碰撞 测试 区 的 
能 量 就 是 穿 过 测试 区 投影 面积 的 能 量 ， 而 投影 面积 与 光线 角度 成 比 
例 ， 如 图 2.6 所 示 。 
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图 2.6 测试 区 的 投影 面积 
投影 面积 为 44, =|cos(0)|d4, =|ñ, Ed, + 
如 果 是 不 透明 表面 ， 要 求 . 工 宇 0， 否则 ， 就 是 阴影 。 因 此 ， 表 
面 辐 照度 为 

















1(A,,) = | a, -LD) (2.8) 


4， 点 光源 下 的 表面 辐 照 度 
如 图 2.7 所 示 ， 点 光源 的 辐射 强度 R(4,6,) 是 指 在 豆 方向 中 碰撞 
到 测试 区 的 单位 波长 4 、 单 位 立体 角 的 能 量 。 





图 2.7 点 光源 辐 照度 
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所 谓 立 体 角 ， 定 义 为 测试 区 在 单位 球 上 的 投影 ， 即 





| ， 


dQ, = . 
k,-% 


p 





Ep, L= -%,)/]% —%,|] - 
对 于 测试 区 ， 其 表面 辐 照 度 为 

















[RU,6,)d2,] aF] 


A3, i) 





= R16,) (2.9) 
A E| 


5. 分 布 式 光 源 辐 照 度 


点 光源 情况 是 一 种 理想 假设 , 实际 情况 下 多 为 有 限 个 光源 的 组 
合 ， 如 图 2.8 所 示 。 





图 2.8 分 布 式 光源 


© 计算 机 视觉 一 -基于 图 像 的 3D EH 














其 中 一 个 测试 


区 的 辐 照 度 为 





e re G(X,, x)dx 
|z-3,| 


(2.10) 


一 般 情况 下 ， 这 些 光 源 之 间 是 一 种 线性 组 合 ， 可 以 进行 个 加 运 


算 ， 结 果 相 当 于 单 光源 。 因 








论 ， 这 种 假设 是 合理 的 。 


2.2.2 ”表面 反射 模型 





表面 反射 模型 如 图 2.9 所 示 。 

















光源 








表面 某 点 的 














图 














此 ， 后 面 的 章节 都 是 基于 单 光源 展开 讨 


图 像 传感器 


法 向 


表面 


2.9 表面 反射 模型 





像 强度 为 1 =f(N,k, 1); HPN 为 表面 


为 表面 反射 率 ，17 为 入 射 光 强 度 。 








H 








法 向 , ky 
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mis, VAM, we 2.10 所 示 。 


























图 2.10 漫 反射 模型 


单位 面积 表面 的 反射 强度 为 


HP, r(A, LV) 称 为 双向 反射 分 布 函数 (Bidirectional Reflectance 
Distribution Function, BRDF). 

车 假设 BRDF 对 于 LV 保持 恒定 则 x(4,Z,P)=r(4)， 称 为 
Lambertian 逼近 模型 。 





2. 镜面 反射 
考虑 一 个 无 穷 远 处 的 光源 ， 其 辐 照 度 为 (4,Z)， 其 中 的 上 标 i 表 
示 入 射 辐 照度 。 


图 2.11 中 的 夏 是 镜面 反射 方向 , TERN M =—L+ 2N[N-E], 
此 时 的 反射 辐 照 度 为 


I (2,M)=F(2,DI' (4, L) (2.11) 














其 中 的 F(A, L) 是 Fresnel 项 ， 指 明光 谱 分 布 的 变化 。 
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2.2.3 Lambertian 模型 

















I 


pia KEV EAE LH dd, WR 2.12 所 示 。 








图 2.11 镜面 反射 模型 


上 述 可 知 ， 表 面 辐 照度 与 光源 辐 照 度 的 关系 为 


(A,N)=|N-E |ra, D 


2.12 Lambertian 模型 

















与 反射 表面 的 对 应 区 域 为 dd, =|N-P\dA, > 则 有 


RA, ž, 7) = ra| Ñ EIA) 


这 意味 着 其 不 依赖 了 


PLY, Wi 2.13 所 示 。 





(2.12) 
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(a) Lambertian 模型 (b) Lambertian 模型 + 镜面 





图 2.13 ki Lambertian 模型 





2.24 ”梯度 空间 


如 图 2.14 所 示 ， 表 面 法 向 表示 为 平面 上 的 一 点 (p,q) ， 而 光源 方 
向 表示 为 另 一 个 点 (p.;4,)。 表 面 重 构 的 目标 之 一 就 是 根据 图 像 光亮 度 
(x,y) > ftv RAPES 








© lH] (p,q) 。 


A 
XE 
ká 








Ze K 


x 


图 





2.14 ”梯度 空间 示意 图 
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单位 法 向 量 为 
a- Ñ aD 
Ñ| JP +g tl 
光源 法 向 为 
z- X (Pd 





1+ pp, +99, 


NM 
COS d n-s 人 
2.3 ”光学 成 像 原理 


要 实现 基于 图 像 的 3D 重 构 ， 首 先 必 须 深 入 了 解 成 像 设备 的 物理 
性 能 ， 如 相机 的 内 外 参数 等 。 因 此 ， 下 面 介绍 最 常用 的 针 孔 相机 的 成 
像 模型 。 


2.3.1 相机 模型 


针 孔 相机 可 实现 将 一 个 3D 场景 及 其 所 包含 的 物理 对 象 映 射 到 一 
图 像 ， 这 个 过 程 称 为 投影 ， 如 图 2.15 




















个 像 平面 ， 从 而 获得 一 幅 2D 
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2.15 ” 针 孔 相机 的 投影 成 像 


投影 表示 为 一 个 3x4 的 矩阵 ， 描 述 了 P 空间 中 的 场景 和 也 空 
间 中 图 像 之 间 的 关系 ，m x FM ,其 中 
fa fa fis Sis 
F=| fa fa fa hs (2.13) 
Sa fas fa 








其 中 ; P,p 分 别 为 3D 点 及 其 投影 的 2D 点 , 均 采 用 齐 次 坐标 ; E 
阵 元 素 fj eR。 

图 1.2 所 示 的 相机 成 像 模型 描述 了 场景 的 透视 投影 使 用 若干 参 
数 ,这 些 参数 表示 相机 的 内 部 参数 以 及 与 场景 的 关系 .投影 中 心 为 0.; 
3D 空间 点 M 在 相机 坐标 系 中 < XYZ,O。 > 的 华 标 为 (X,Y,Z.); 主轴 
与 像 平面 的 交点 O, 称 为 主 点 ， 一 般 是 像 平 面 坐标 系 < xy, 0, > 的 原点 。 

M 投影 为 图 像 点 m ， 表 示 为 





























X f 
=f— ,y=f= 2.14 
aI y /7 (2.14) 
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其 中 ， 了 为 投影 中 心 到 像 平面 的 距离 ， 称 为 焦距 。 

需要 注意 以 下 几 点 。 

(1) 对 于 数字 照相 机 ， 如 CCD 或 CMOS 相机 ， 像 平面 是 像素 阵 
列 ， 单 个 像素 的 水 平和 垂直 长 度 可 能 并 不 相同 ， 其 比值 称 为 纵横 比 。 
(2) 同样 ， 由 于 制造 工艺 问题 ， 像 素 也 许 并 不 一 定 是 矩形 ， 也 可 
是 平行 四 边 形 或 梯形 fk， 即 存 在 倾斜 ， 倾 斜 因 子 一 般 不 为 零 ， 但 
是 近似 为 零 ， 如 图 2.16 所 示 。 






























































mp 





























图 2.16 ”倾斜 因子 和 纵横 比 





(3) 一 般 情 况 下 ， 主 点 并 不 位 于 像 平 面 的 原点 ， 如 图 2.17 所 示 。 

















2.17” 主 点 不 位 于 像 平面 原点 
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此 ， 像 平面 上 得 到 的 一 个 像素 点 pu, v) 可 表示 为 











u=—~+2tand+u, 
af (2.15) 
vert4y, 


B 














StH, (u,,v,) 是 主 点 在 坐标 系 < xy,o, > 中 的 位 置 坐 标 。ec 为 像素 
KEKE, p 为 像素 的 垂直 长 度 。8 为 u,v 方向 的 夹 角 。 

如 果 场 景 和 图 像 点 表示 为 齐 次 坐标 ， 那 么 ， 中 心 投影 可 简单 表示 
为 线性 映射 。 组 合式 (2.14) 和 式 (2.15) 得 到 














fh fbting u, 0|| X. 
u a a y 
= oO} 2.16 
v f V, Z (2.16) 
1 t ol ° 
1 
1， 内 参数 
式 (2.16) 可 以 改写 为 
p = K[I | OJP. (2.17) 
其 中 ， 
BB 
人 fend. u, fos ù 
K= f vl=| hoy (2.18) 
1 1 
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式 (2.18) 中 的 f, f, 分别 表 示 焦 距 在 像 平面 坐标 轴 4,v 上 的 投影 
焦距 ， 纵 横 比 为 f, / f.，s 为 倾斜 因子 。 一 般 地 ，K 称 为 相机 的 内 























上 面 假设 场景 中 的 3D 点 P(X.,Y,2Z.) 是 用 相机 坐标 系 来 描述 , 事 
KE, 一般 描述 为 世界 坐标 系 <XYZ,O > 。 这 种 情况 下 ， 为 了 计算 的 
有 效 性 ， 所 有 数据 点 包括 相机 中 心 都 必须 定义 在 世界 坐标 系 中 。 

假设 相机 的 光学 中 心 为 C， 则 有 


X. 
Y; |= R( 
r 


其 中 ,RR 是 旋转 矩阵 , 表示 了 相机 坐标 系 对 于 世界 坐标 系 的 方位 。 

式 (2.19)j 意 味 着 ， 如 果 世 界 坐 标 系 中 的 3D 点 和 R, 是 有 效 的 , 则 
该 点 可 定义 在 相机 坐标 系 。 参 数 {R,C} 就 称 为 相机 的 外 参数 。 相 机 的 
外 参数 如 图 2.18 所 示 。 
































x" 
Y |-C) (2.19) 
Z 








Z 


图 2.18 相机 的 外 参数 
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综 上 所 述 ， 得 到 
u 
v |= KRIT|-C] 
1 


M = KR{I|-C] (2.21) 


=M (2.20) 


一 N X 


X 
Y 
Z 
1 
其 中 ， 


式 (2.21) 称 为 相机 的 投影 矩阵 ， 也 称 基 础 矩阵 。 


如 果 知 道 投影 矩阵 M ， 就 可 能 由 此 分 解 得 到 相机 的 内 参数 K 和 
外 参数 {R,C} 。 


2.3.2 ”投影 变换 


一 个 变换 可 以 代数 化 定义 为 一 个 矩阵 。 
1， 射 影 变 换 


射影 变换 是 一 个 线性 变换 ， 一 般 地 会 改变 几何 形状 的 角度 、 距 离 
或 比率 。 能 确保 恒定 不 变 的 是 奇异 性 、 关 联 性 、 交 比 。 从 P" 到 P” 的 
射影 变换 ， 映 射 每 个 点 PsP" 到了" 中 的 一 个 新 的 位 置 ， PF TP ， 其 
中 了 是 一 个 (m+Dx(a+D 的 矩阵 。 

(1) 单 应 性 。 单 应 性 是 指 在 同一 空间 内 的 一 个 射影 变换 
H: P” >P”, BHP HP. 
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这 里 的 豆 是 一 个 m+Dx(a+D 的 非 奇异 矩阵 。 
在 疡 空间 ， 瑟 为 4x4 的 矩阵 ， 具 有 15 个 自由 变量 。 























jl 2.22 
f» 1 22) 











其 中 ， 沁 ;是非 奇异 矩阵 ，#y 为 3- 向 量 。 

(2) 对 偶 空 间 的 单 应 性 。 

4 P 空间 的 某 个 点 经 历 五 变换 后 ， 得 到 的 对 偶 图 元 LeP"， 对 
于 2D 和 3D 空间 ， 则 分 别 表现 为 直线 和 平面 。 

对 偶 变 换 为 H*:P” >P”, BILE ATL. 





2. 仿 射 变换 


仿 射 变换 是 一 种 特殊 的 射影 变换 ， 保 留 无 穷 远 处 全 局 恒定 不 变 的 
超 平面 。 因 此 ， 在 也 空间， 一 个 仿 射 变换 及 其 逆 变 换 可 表示 为 


At 5 A' -A't 
nels | ee i | (2.23) 


TEA 12 个 变量 。 











3， 相 似 性 变换 

相似 性 变换 是 一 种 特殊 的 放射 变换 ， 包 含 平 移 、 旋 转 和 缩放 。 这 
种 变换 保持 任何 方向 的 夹 角 、 比 率 不 变 。 在 P’ 空间 ， 相 似 变换 可 表示 
为 





AR t 
Ty -| or | (2.24) 
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Heh, Ro 是 旋转 矩阵 ，+ = (t,t,4)" 是 一 个 平移 向 量 。44 是 一 个 
各 向 同性 的 非 零 比 例 因 子 。, 含有 7 个 变量 ， 即 围绕 三 个 轴 的 旋转 、 
在 三 个 方向 上 的 平移 、 一 个 全 局 性 的 比例 因子 。 



































欧 氏 (或 等 量 ) 变 换 是 相似 性 变换 的 特殊 情况 ， 包 含 一 个 平移 和 一 
个 旋转 。 欧 氏 变换 为 一 个 物体 的 刚体 变换 建立 模型 。 -这 种 变换 保持 任 
何方 向 的 夹 角 和 距离 不 变 。 

在 P 空间 ， 欧 氏 变换 可 表示 为 


Rt 
Te=l yr a (2.25) 


其 中 ， 尺 :是 一 个 旋转 矩阵 ， 且 det(R)=1, ATLA R' =R". 
TEA 6 个 变量 ， 即 围绕 三 个 轴 的 旋转 、 在 三 个 方向 上 的 平移 。 




















上 述 四 种 变换 的 总 结 参见 表 2-1。 

比较 表 2-1 中 的 射影 变换 和 仿 射 变换 的 矩阵 ， 可 以 发 现 ， 它 们 的 
差异 在 于 向 量 v ， 在 仿 射 变换 中 ，v 为 零 向 量 。 
表 2-1 四 种 3D 几何 变换 








变换 种 类 | SBR 畸变 不 变量 | 变量 数 
m fa! 交叉 性 
射影 变换 ak | cae: 15 
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续 表 
变换 种 类 不 变量 变量 数 
平面 平行 性 
体积 的 比 
仿 射 变换 率 、 质 心 12 
无 穷 远 平面 
IL, 
j 任何 方向 的 
相似 变换 Ye. ER 7 
任何 方向 的 
等 量变 
TERA 夹 角 、 距 离 | “ 
因此 ， 放 射 变换 保留 了 无 穷 远 处 的 理想 点 (x,y,z,0)”。 
x x 
A tll y' 
“|= 2.26 
f | Z Zt ( ) 
0 


在 射影 变换 下 , 理想 点 (x,y,z,0)" 映射 到 一 个 有 限 远 点 , 看 作为 


一 个 消 隐 点 。 


~ 
= 


-` 

ne) 

N < 3 
Il 

no 


0 VIX+V y+Y2 


(2.27) 
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2.4 同 伦 分 析 法 








a 


基于 单 幅 图 像 的 3D 表面 重 构 一 般 是 NP- 难 题 ， 难 以 构成 线性 系 
统 。 而 非 线性 系统 远 比 线性 系统 的 求解 要 困难 得 多 ,严重 依赖 于 所 采 
取 的 优化 逼近 方法 。 考 察 一 个 逼近 分 析 方 法 对 于 解 非 线性 系统 求解 结 
果 的 满意 度 ， 通 常 有 以 下 两 个 标准 。 

(1) 是 否 总 能 提供 有 效 的 逼近 分 析 : 

(2) 能 否 确 保有 逼近 解 对 所 有 的 物理 参数 均 能 保持 较 高 的 精确 度 。 

典型 的 扰动 技术 呈 we 被 广泛 应 用 手 科 学 和 工程 领域 。 扰动 
技术 主要 基于 给 定 方程 或 初始 、 边 界 条 件 等 中 的 物理 参数 ， 一 般 称 为 
微 扰 量 。 一 般 地 ， 扰 动 逼 近 表示 为 一 系列 微 扰 量 ， 一 个 非 线性 问题 可 
分 解 为 无 限 多 的 线性 子 问题 ， 而 这 些 线性 子 问题 完全 可 由 给 定 的 初始 
方程 确定 ， 尤 其 取决 于 微 扰 量 出 现 的 位 置 。 扰 动 法 比较 简单 ， 特 别 是 
当 基 于 较 小 的 物理 参数 ， 扰 动 逼 近 具 有 明确 的 物理 含义 。 不 过 ， 并 非 
每 个 非 线 性 问题 都 含有 这 样 的 微 扰 量 。 而 且 ， 即 使 存在 这 样 的 物理 参 
数 ， 线 性 子 问题 也 可 能 无 解 ， 或 者 因为 过 于 复杂 而 仅 有 少量 子 问题 可 
解 。 这 样 ， 扰 动 法 就 不 能 确保 对 任何 非 线 性 问题 总 能 得 到 扰动 逼近 。 
更 重要 的 是 ， 扰 动 逼 近 仅 对 小 的 物理 参数 有 效 ， 这 样 ， 就 不 能 保证 一 
个 扰动 结果 对 所 有 的 参数 域 都 有 效 。 这 样 看 来 ， 扰 动 法 不 满足 上 述 两 
条 考察 标准 。 

为 了 克服 扰动 法 的 局 限 性 ， 出 现 了 一 些 经 典 的 非 扰动 方法 ， 如 人 
造 较 小 参数 法 的 、6- 扩 展 法 外 中 、Adomian 分 解法 ?> 7148 
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根本 上 讲 ， 这 些 方法 都 是 基于 一 个 人 造 参 数 ， 将 逼近 解 扩展 为 一 系列 
这 样 的 人 造 参数 。 人 造 小 参数 一 般 以 这 样 的 方式 来 使 用 ， 即 对 任何 给 
定 的 非 线 性 方程 ， 总 能 获得 逼近 解 。 与 扰动 技术 比较 ， 这 的 确 是 一 个 
较 大 的 进步 。 但 是 ， 从 理论 上 讲 ， 存 在 不 同 的 方式 来 设置 这 个 人 造 参 
数 ， 却 没有 任何 理论 来 阐明 究竟 如 何 设置 人 造 参数 才能 获得 更 好 的 逼 
近 解 。 所 以 ， 这 些 非 扰动 法 仅 满足 上 述 第 (D) 条 ， 而 不 满足 第 (2) 条 。 

















2.4.1 早期 HAM 


1992 年 记 世 俊 [9 首 次 将 拓扑 学 中 的 同 伦 概 念 已 用 于 非 线 性 微分 
方程 的 逼近 分 析 ， 从 而 诞生 了 一 种 全 新 的 优化 逼近 分 析 方 法 ， 即 同 伦 
分 析 法 (Homotopy Analysis Technique, HAM). 

设 一 个 给 定 的 非 线 性 微分 方程 为 

N[u(x)]=0, xe 

其 中 ，X 是 一 个 非 线性 算 子 ，x(z) 是 一 个 未 知 函 数 。 廖 世 俊 据 此 
构造 了 一 个 仅 含 一 个 参数 的 方程 徐 ， 嵌 入 参数 gs[0.1] ， 称 为 零 阶 形 
变 方程 。 


-pL q) -u (PW]+qNIG(x;q9)]=0, xe Q,qe[0,1] (2.28) 








其 中 ， 工 是 一 个 辅助 线性 算 子 ，u (x) 是 一 个 初始 值 。 

理论 上 ， 拓 扑 学 中 的 同 伦 概 念 为 选择 工 和 初始 值 比 传统 的 非 扰动 
法 提供 了 更 大 的 自由 度 。 在 g=0,g=1 时 ， 有 g(x;0)=u(x) 、 
gx =u(x) 。 因 此 ， 当 嵌入 参数 9 由 0 增长 到 1， 零 阶 形变 方程 的 解 
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xq) 由 初始 解 uo(x) 变化 到 原始 非 线 性 微分 方程 N[u(x)]=0 的 精确 
AR U(x) 。 这 样 的 连续 变化 在 拓扑 中 称 为 形变 。 

于 G(x;q) 也 依赖 于 嵌入 参数 ge[0,1] ， 可 将 其 扩展 为 关于 g 的 
Maclaurin 级 数 ， 称 为 Homotopy-Maclaurin 级 数 。 





























pq) = Uy (x) + > u, (x)q" (2.29) 








需要 说 明 的 是 ,选择 辅助 线性 算 子 L 和 初始 解 u,(x) 具有 极 大 的 
由 度 。 如 果 选 择 恰当 ， 则 Homotopy-Maclaurin 级 数 在 g =1 处 收敛 , 称 
为 Homotopy 级 数 解 。 

















u(x) = Uy (x) + Su, 0) (2.30) 
n=l 


该 级 数 满足 原始 方程 N[u(x)] =0 。 这 里 的 w(x) 受 高 阶 形变 方程 控 
制 ， 即 





Lu, (x) -= Kt 1 = -6,1(x) (2.31) 
其 中 ， 
_fl 422 
MN <2 
_ |1 N'a) 
aofa Maro pa (2.32) 
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2.4.2 标准 HAM 


廖 世 俊 发 现 ， 早 期 的 HAM 并 非 总 能 确保 一 般 的 非 线性 方程 组 的 
逼近 级 数 收敛 [" ”9 。 为 了 克服 这 个 缺陷 ， 座 世 俊 引进 一 个 非 零 辅助 参 
数 co 来 构造 双 参 数 方程 徐 。 此 时 零 阶 形变 方程 为 

-PLE g) = UX) = coN), xe Qsge[0,1] (2.33) 


对 应 的 高 阶 形变 方程 为 


Llu, (x) - Z, N= C95, (7%) (2.34) 


这 样 ， 式 (2.30) 中 的 Homotopy 级 数 解 不 仅 依赖 于 物理 变量 x， 而 
且 依赖 于 附加 的 辅助 参数 cu。 从 数学 上 来 看 区 可 可 以 调节 和 控制 收敛 
SRO, IRAE cy AT EAT OEE Xo 

虽然 辅助 参数 cv 增加 了 “人 为 ”的 自由 度 ， 但 却 大 大 改善 了 早期 
HAM， 提 供 了 一 种 方法 以 确保 Homotopy 级 数 解 的 收敛 性 。 因 此 ，cv 
被 称 为 收敛 控制 参数 。 这 是 HAM 的 一 个 显著 进步 。 

通过 上 面 的 介绍 ， 可 以 发 现 ， 似 乎 更 多 的 “人 造 ” 自 由 度 可 以 大 
大 提高 使 用 同 伦 分 析 法 获得 较 好 的 逼近 解 的 概率 。 因 此 ， 廖 世 俊 又 提 
出 了 更 一 般 的 零 阶 形变 方程 EC。 























[1 -a(oILIGX,9) -u O= bN), xeQ,g €[0,1] (2.35) 
其 中 ，c(9), Bq) 称 为 形变 函数 ， 满 足 


es = (0) =0 os 


a()=£0)=1 
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对 应 的 泰勒 级 数 为 
a(a= Dang" , PD) => Bs" (2.37) 
当 加 入 1， 收 贫 。 对 应 的 高 阶 形变 方程 为 
de -Saw 09] -6 SA (x) (2.38) 


根据 上 面 的 介绍 可 见 ， 由 于 HAM 的 优越 性 能 ， 可 以 推广 到 求解 
偏 微分 方程 。 


2.4.3 优化 HAM 


通过 研究 发 现 ， 存 在 一 个 有 效 区 域 尺 ， 对 于 任何 ce R 都 能 获得 
一 个 收敛 级 数 解 。 可 以 大 致 绘制 出 关于 c 的 一 条 曲线 。 但 这 样 的 曲 
线 并 不 能 告诉 哪个 收敛 控制 参数 己 是 最 好 的 ， 即 对 应 于 最 快 的 收敛 
级 数 。 

Yabushita 等 人 65 使 用 HAM 来 求解 双 耦 合 非 线性 常 微分 方程 ， 并 
提出 一 种 新 的 优化 方法 ， 通 过 极 小 化 给 定 方程 的 残 差 平方 找 出 两 个 最 
优化 收敛 控制 参数 。 即 令 


nio] 


KATE N(u) = 0 WE m 阶 逼 近 的 残 差 平方 ， 在 整个 O 域 进行 积分 。 理 
WL, MRE, +0, WY u, 0 Æ N0) =0 的 一 个 级 数 解 。 
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Es 





此 ， 如 果 仅 存在 一 个 收敛 控制 参数 c,， 则 R. 定 义 为 





R={a | lim 5,(c) =o} (2.39) 

















另外 , 在 一 个 给 定 阶 次 的 逼近 ， 互 , 相当 于 优化 的 逼近 。 因 此 ，E， 
关于 cv 的 曲线 不 仅 指明 了 尽 ,而 且 指 出 了 最 优化 的 co, 即 对 应 于 已 的 
极 小 值 。 需 要 注意 的 是 ， 对 任何 阶 次 的 逼近 ， 都 能 获得 一 个 已 , ， 即 使 
精确 解 未 知 。 

后 来 ，Akyildiz 等 人 吗 通 过 极 小 化 已 ;获得 一 个 收敛 控制 参数 ， 并 
发 现 Homotopy 级 数 解 的 收敛 非常 快 > Marinca 等 人 的 在 式 (2.35) 所 示 
的 零 阶 形变 方程 中 组 合 了 cs 和 -Bp(q) ， 作 为 一 个 函数 BQ), A 
BO) =0,B(1)z1， 并 构成 一 个 方程 禾 为 





A-D, g) =u (M1= BON, xe ,ge[0,1l] (2.40) 
EMAA 
B(q)= Yea" 


收敛 在 9 =1。 
式 (2.40) 是 式 (2.35) 的 一 个 特例 ， 即 令 


1 oo 万 oD 
a =q p+c = HD, = D6 #0 eA) 
0 n=l 


0 nal 











称 为 优化 同 伦 渐 进 分 析 法 。 
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2.5 半 定 规划 


我 们 通常 所 说 的 线性 规划 (Linear Programming, LP) 是 指 极 小 化 或 
极 大 化 含 n 个 变量 的 线性 函数 ， 要 求 服从 线性 的 等 式 和 不 等 式 约束 ， 


可 写成 1 


下 述 方程 形式 。 


maxe'x st. Ax=b;x=0 





其 中 ，x =(x,,x,,---,x,) Sin 个 变量 的 列 向 量 ，c= (a,c) 
ALA PRM, b= (bbp ,b,) RA FIL. 
AeR”™ RARER, 0 是 适当 维 的 零 向 量 。 


2.5.1 线性 规划 的 一 种 推广 


为 了 给 出 半 定 规划 的 定义 ， 首 先 将 线性 规划 在 以 下 4 个 方面 进行 


推广 。 
a) 








46 x AY fl At 2 fi] R A A AERA 


SYM, ={X eR" :x, =x,,1<i< j<n}, WX Anxn HREM 


空间 。 
(2) 
(3) 


将 约束 矩阵 4 蔡 换 为 一 个 线性 映射 4:SYM, >R" o 
R” 上 的 标准 的 标量 积 < xy >= x" y BHAI SYM, 上 的 标量 积 
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XY = SDs 


i=l j=l 


也 可 以 记 为 XY =Tr(X'Y) 。 对 于 方 阵 MM ，Tr(M) 为 M 的 对 角 


元 素 之 和 。 


(4) 将 约束 x 三 0 蔡 换 为 X>0 。X>0 表 示 X 是 半 正 定 的 。 


2.5.2 ”正定 和 矩阵 与 半 正 定 矩 阵 


定义 2.6( 正 定 矩 阵 ) 





一 个 矩阵 M ， 如 果 对 于 所 有 的 x0， 有 x'Mx>0， 则 MM 称 为 


正定 矩阵 。 
定义 2.7( 半 正定 矩阵 ) 


一 个 半 正 定 矩阵 M 是 一 个 实 和 矩阵 , 是 对 称 的 ， 且 所 有 特征 值 为 非 





负 的 。 记 为 M>0。 





一 个 对 称 实 和 矩阵 仅 有 实 特 征 值 ， 因 
定理 2.3 





此 较 易 至 


i M sSYM,， 下 列 说 法 是 等 价 的 。 
(1) M 是 半 正 定 ， 对 于 所 有 的 xeR”"， 有 x Mx 宇 0。 


(2) M 的 所 有 特征 值 非 负 。 


E 解 非 负 特 征 值 的 条 件 。 


(3) 存在 一 个 矩阵 UeR”， 使 得 M=U'U 。 


证 明 : 


(1) 证 明 如 果 M>0， 则 M 的 所 有 特征 值 非 负 。 
根据 定义 ，M 的 特征 向 量 w 对 于 某 特征 值 和 4， 要 求 满足 


Mo@=Aw 


(2.42) 
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当 M 是 对 称 的， 所 有 特征 值 是 实 值 。 
将 式 (2.42) 两 边 乘 以 w" ， 得 到 
w Mo = Aw'w (2.43) 

根据 半 正 定 矩 阵 的 定义 ， 式 (2.43) 的 左 端 是 非 负 的 ， 而 右 端 
ww 三 0， 所 以 4 三 0 。 

(2) 证 明 如 果 M 的 所 有 特征 值 非 负 ， 则 MM=UV"U ， 其 中 
UeR”’. 

设 4 为 包含 M STAR TEE AKER, B 


Rie) 0 
AZ: 
On A 


令 反 为 相当 于 向 量 [6， o = 6] 的 矩阵 ,由 于 特征 向 量 是 互 
相 正 交 的 ， 即 





(2.44) 











l ey 
ai -| = (2.45) 


MW ENERE. 
给 定 矿 和 4 ， 得 到 特征 值 的 矩阵 表示 为 MW = 所 A 。 两 边 乘 以 
Ww", ， 得 到 


MWW' =W AW" (2.46) 











FW NEZER, BWW = 了 ， 这 样 ， 式 (2.46) 的 左 端 就 
等 于 M 。 又 由 于 所 有 特征 值 是 非 负 的 ， 则 将 4 EN A? (A), 
中 如 ?定义 如 下 
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ate ce (2.47) 
0 ae 
RFE, WAW" =WA?(A?)'W! =WAP WAY  & U =WA®, 
则 式 (2.47) 等 价 于 M = ZU 。 
(3) 证 明 如 果 M=U UV， 其 中 UeR”， 则 M>0。 


根据 M 是 半 正 定 矩 阵 的 定义 ， 有 
M=U'U 
© x'Mx=x'U'Ux , xeR" 
@x'Mx=y'y , yeUx 
Sx'Mx 0, ~ yy 0 
o 
根据 定理 2.3 BOR, PE EEEE UARU, $ 
U=|u u, = u), u eR" 
WW 水 就 是 Ci,C) 的 点 积 。 因 此 ， 得 到 下 面 的 推论 。 


定义 2.8( 半 正定 矩阵 集合 ) 
PSD, 是 所 有 nxn 半 正定 矩阵 的 集合 ， 显 然 ， 有 PSD, c SYM, 。 
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2.5.3 Cholesky 分 解 


对 于 一 个 半 定 正 矩 阵 M ， 求 解 满足 M = U'U 的 矩阵 UV 。 这 个 过 
程 称 为 Cholesky 分 解 。 如 果 M=(a)eR™ 


， 则 设 U=(Va)， 其 中 
azo. £M HRK, WA 


m-e T 
a N 


WW a =erMe ， 其 中 ，e 为 单位 向 量 。 有 两 种 情况 需要 特殊 考察 
如 果 w >0 ， 则 有 








(2.48) 














T T 
Va 0 1 0 Ja qv 
M=]. 1 Lk Va (2.49) 
gq 17- | 0 N= 一 4 
Va a 0 La 


矩阵 N-ar 也 是 半 正定 的 ， 可 以 循环 计算 Cholesky 分 解 。 





N a =V'V 
a 


通过 基本 计算 ， 得 到 


ii M=U'U ， 可 以 找到 M 的 一 个 Cholesky 分 解 。 
在 其 他 的 情况 (ag =0), Aq=0. EEN 是 








Si 


E 定 的 ， 可 以 计算 
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N=VV. $ 


NSH M=U'U 。 





2.5.4 HERRI 





下 面 给 出 半 定 规划 (Semi-Definite Programming，SDP) 的 形式 化 
定义 2.9( 半 定 规 划 ) 
一 个 半 定 规划 描述 了 下 面 的 最 优化 问题 。 

















max CX, S.t. ax; =b, ,k=1,…,m 
x á 2 Sr” (2.50) 


X>0 














HH, pI Sij Snin PEE, EMMA, =x, 。 而 
apb 是 实 系数 ， 且 


C 


ij? 


X =(x;) ESYM， 


也 可 以 写 为 下 述 更 紧凑 的 形式 。 
max CX 
s.t. AX =b,,i=1,2,---,m (2.51) 
X>0 

















HP, C=) 是 表示 目标 函数 的 一 个 和 矩阵， 且 
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A, = (ap) k=1,2; m, REAR AX =b,i=1,2,;,m 可 以 写成 





A(X)=b, Fe, b=(b,--,b,). A:SYM, > 月" 是 一 个 线性 映射 。 
如 果 SDP 存在 一 个 可 行 解 率 <SYM, ， 满 足 A(X)=bAIX>O, WFK 
SDP 是 可 行 的 。 一 个 可 行 的 SDP 的 值 为 sup{fCX : A(X) =b,X>0}, “4 
值 为 w SDP 规划 称 为 无 界 的 。 否 则 ， 称 为 有 界 SDP. 

一 个 优化 解 是 一 个 可 行 解 X ， 对 所 有 可 行 解 X ， 满 足 
CX 三 CX 。 因 此 ， 如 果 有 一 个 优化 解 ， 其 对 应 的 SDP 值 是 有 限 的 ， 
且 是 可 达 的 ， 则 意味 着 上 式 的 上 确 界 是 一 个 极 大 值 。 











2.5.5” 非 标准 半 定 规划 


SDP 并 非 总 能 写成 式 (2:51) 的 形式 。 除 了 式 (2.51) 中 的 线性 等 式 约 
束 外 ,还 可 能 存在 一 些 不 等 式 约束 ， 因 此 需要 增加 不 属 半 正 定 和 矩阵 X 

(1) 首 先 ， 增 加 另外 的 未 出 现在 XX 中 的 实 变 量 x,x,,…,x, HE 
们 加 入 和 矩阵， 形成 X'e SYM,,,。 





X 0 … 0 
ox 0 0 
X'= H (2.52) 
0 0°. 0 
0 0 = xy 


ER, HHRH X>0 Fl xx, 20, AX'r0. 

(2) 为 了 消除 不 等 式 ， 可 以 增加 非 负 的 松弛 变量 ， 就 像 在 线性 规 
划一 样 。 例 如 ， 一 个 不 等 式 约束 x +5xs 三 22 替换 为 一 个 等 式 约 束 
Xs +5% +y=22， 其 中 的 y 是 增加 的 非 负 实 变量 。 
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(3) 无 约束 实 变量 x 蔡 换 为 一 个 差 x — xp, HE x, x; 为 两 个 新 的 
非 负 的 实 变量 。 
通过 上 述 步 又 ， 一 个 非 标准 式 SDP 可 以 转化 为 标准 SDP 形式 。 








2.5.6 ” 半 定 规划 可 行 区 


AWA 
限制 了 SD: 





F 线 性 规划 ， 一 个 SDP 中 的 一 个 线性 约束 对 应 一 个 超 平面 ， 
P 的 可 行 区 。 而 一 个 半 定 约束 是 非 线性 的 ， 产 生 一 个 非 纯 平 




















一 个 半 定 约束 可 表示 为 无 限 多 的 线性 约束 。 下 面 来 看 

















2.19 所 示 的 例子 。 





2.19 SDP 的 可 行 区 


= 
第 2 章 3D 表面 成 像 及 优化 方法 














其 中 ，C,C,,C; 是 三 个 线性 约束 ，C, 是 非 线性 约束 ， 相 当 于 无 穷 
多 个 线性 约束 。 而 CC, 是 这 无 穷 多 个 线性 约束 中 的 两 个 实例 。 这 些 
无 穷 多 个 非 线性 约束 产生 C 的 非 纯 平面 。 
一 个 SDP 的 优化 解 可 能 位 于 可 行 区 的 非 纯 平面 上 , 这 样 , 就 是 不 
合理 的 解 。 看 下 面 的 一 个 具体 例子 。 基 于 下 面 的 约束 ， 极 小 化 x 。 


x V2 
f P lo (2.53) 
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对 于 半 正 定 矩 阵 ， 所 有 前 主子 式 都 是 非 负 的 。 所 谓 前 主子 式 ， 是 
指 删 除 一 个 nxn 算 阵 中 的 最 后 k 行 和 最 后 k 列 元 素 后 而 构成 的 子 和 矩阵 
所 对 应 的 行列 式 。 例 如 ， 式 (2.53) 的 矩阵 有 两 个 前 主子 式 ， 即 





m = Ed] 
(2.54) 








这 样 ， 有 x 宇 0 Me -250. EIT AE] x IM V2 。 


2.6 A wh BK 











本 章 先 扼要 介绍 了 3D 表面 的 形式 化 定义 及 两 种 基本 类 型 ， 着 重 
分 析 了 平滑 表面 成 为 局 部 平面 的 必要 条 件 。 接 着 讨论 了 光照 原理 及 针 
孔 相机 模型 ， 重 点 探讨 了 Lambertian 表面 模型 的 基本 条 件 ， 以 及 单 光 





jes 
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源 假 设 的 合理 性 和 必要 性 。 在 此 基础 之 上 进一步 介绍 了 光学 成 像 过 





程 ， 为 后 














i 的 三 种 3D 重 构 提供 知识 支撑 。 最 后 介绍 了 同 伦 分 析 法 和 








半 定 规划 两 种 较 流行 的 非 线 性 优化 方法 ， 具 体 应 用 将 在 第 3、4、5 章 


详细 讨论 。 
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非 刚体 表面 在 现实 中 普遍 存在 ， 如 弯曲 的 柔性 板材 、 压 缩 的 球 
面 、 扭 曲 的 脸 部 、 动 画 片 中 的 卡通 对 和 象 等 。 基 于 单 图 像 的 非 刚 体 表 
面 重 构 严 重 约束 不 足 ， 通 用 办 法 是 引进 形变 模型 ， 或 者 基于 物理 特 
PERS S687 88.991 Bt i] EM AEC) ee RRR AA 
参数 ， 再 选择 恰当 的 初始 化 模型 ， 通 过 极 小 化 一 个 基于 图 像 的 目标 函 
数 而 获得 解 。 由 于 这 些 目 标 函 数 可 能 具有 多 个 局 部 极 小 值 ， 因 此 严重 
依赖 于 初始 解 的 选取 。 而 SFS 是 迄今 发 展 最 完善 的 单 图 像 表面 重 构 方 
法 ， 衍 生出 许多 变异 类 型 ， 广 泛 应 用 于 计算 机 视觉 的 各 个 工程 领域 。 
因此 ， 本 章 将 SFS 问题 规划 为 多 项 式 系统 , 应 用 多 项 式 系统 的 相关 特 
性 ， 提 出 三 种 基于 SFS EH 3D 表面 的 新 方法 ， 分 别 用 于 非 刚体 表面 
的 3D 重 构 。 





























3.1 引 a 























于 投影 成 像 过 程 丢失 了 深度 信息 ， 不 同 的 形状 可 能 产生 同一 个 
图 像 ， 因 此 ， 单 幅 图 像 的 3D 重 构 是 一 个 非 适 定 病态 问题 ， 通 常 需 要 
附加 额外 的 假定 条 件 。 








3.1.1 标准 SFS 模式 


Horn 方法 63 假 定 表面 遵守 Lambertian 反射 特性 ( 即 漫 反射 ), 如 
图 3.1 所 示 。 
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3.1. Lambertian 表面 反射 模型 























Hh, L=(a,b,c) RAIA, N=(-p,-g,))' 表示 表面 法 向 ， 


V RIRI. 


到 的 图 像 亮 度 ); p 为 反照 率 。 


例 ， 


Lambertian 反射 遵守 余弦 定律 。 
I, = pN-LI, (3.1) 


其 中 ，Z、 工 分 别 表示 输入 光 强 ( 即 光 源 强度 )、 输 出 光 强 ( 即 观察 











3 











式 G3.D) 表 明 ， 输 出 光 强 仅 与 光源 方向 和 表面 法 向 的 夹 角 余弦 成 比 
而 不 依赖 于 视 向 , 即 在 所 有 方向 观察 表面 感受 到 相等 的 图 像 亮 度 。 
Hig kit, AOR p,L,1 ， 可 以 根据 7 恢复 表面 法 向 N， 这 是 
































法 








重 构 的 目标 。 这 个 求解 过 程 类 似 于 积分 运算 ， 所 要 求解 的 表面 


























人 








各 NN 相当 于 一 个 导数 。 此 处 困难 的 是 ， 有 一 部 分 导数 (N ) 无 法 有 








因此 ， 必 须 假设 表面 是 连续 的 。 
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假设 表面 表示 为 z(x,y)， 令 











(3.2) 








表面 上 某 点 (x,y,z(x,y)" 的 切 向 分 别 为 4.=(1,0,z,)”、 
t=(1,0,z,) ， 则 该 点 的 法 向 为 











t 
N= 





Ie 


t 1 T 
2 = —— (—p,~q,1 3:3 
£| Gaga KONG = 


因此 ， 该 点 的 图 像 强度 为 





~ap—bgte, 64) 


对 于 MxN 的 图 像 的 每 一 个 像素 都 有 一 个 类 似 式 (3.4) 的 方程 ， 最 
终 得 到 M xN 企 方程 。 

一 般 地 ， 图 像 中 的 最 亮点 具有 指向 光源 方向 的 一 个 法 向 ， 因 此 ， 
最 亮点 的 图 像 强度 为 pI o WRA pl, 为 比例 因子 ， 则 式 (3.4) 简 化 为 


GD)=PN:EN=P 
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式 (3.5) 表 明 ， 不 管 物体 表面 是 否 为 Lambertian 都 可 以 得 到 上 述 函 
数 的 某 个 比例 值 。 若 存在 几 个 理想 光源 ， 且 在 Lambertian 表面 的 一 个 
区 域内 都 是 可 见 的 ， 则 式 (3.4) 中 的 pl 就 是 这 些 光源 的 线性 受 加 。 因 
比 ， 很 多 文献 中 关于 单 光源 的 假设 是 有 一 定 道理 的 。 


Ixy) NL= (3.5) 























p 
H3H 非 刚体 表面 的 SFS 闭合 解 模式 





FW L= (a,b,c) BA, 则 式 (3.4) 仅 含有 两 个 未 知 量 p,q 而 p,q 
来 自 于 可 积 表面 z(x,y)， 因 此 可 利用 表面 的 可 积 性 约束 。 









































@z az = Op _ ôq 
OxOy OvOx dy oy 





(3.6) 


这 样 ， 最 后 得 到 的 系统 含有 2M x N 个 非 线性 微分 方程 。 需 要 注 
意 的 是 ， 如 果 含 有 噪声 或 深度 不 连续 ， 则 系统 无 解 。 
整理 式 (3.5)， 可 得 


7 1 
Vp +q = TNN =|vz|| (3.7) 





式 (3.7) 称 为 光 程 方程 (也 称 短 时 距 方程 )， 这 种 情况 下 ， 图 像 中 的 
attached 或 cast 阴影 不 可 见 。 需 要 注意 的 是 ,无 = (0,0,1) 时 存在 局 部 
歧义 性 ， 因 为 对 于 任意 解 表面 的 每 一 个 局 部 面 片 存在 inout 倒置 的 歧 
义 性 。 

Hom 基于 SFS 的 方法 虽然 具有 优美 的 数学 形式 ， 但 其 关于 
Lambertian 反射 率 的 假设 对 于 多 数 实际 对 象 并 不 适用 ， 可 能 导致 无 解 
或 多 重 歧义 解 。 因 此 ， 有 不 少 研 究 人 员 致 力 于 研究 SFS 解 的 存在 性 和 
唯一 性 。Hor 等 人 的 证 明了 两 类 情况 SFS 无 解 ， 一 是 光 程 方程 仅 含 
无 边界 解 ， 即 物理 上 不 可 能 实现 ;, 二 是 光 程 方程 根本 无 解 。Oliensis553 
证 明了 SFS 解 的 唯一 性 条 件 是 存在 边界 约束 。Saxbergpgq 证 明了 在 靠 
近 泛 奇异 点 处 存在 多 达 四 个 局 部 解 。Okatani 和 Deguchi? 48H}, w 
表面 不 存在 二 阶 导数 或 不 连续 ， 则 可 能 存在 无 穷 多 解 。Deift 和 
Sylvester5 则 进一步 研究 了 Lambertian 半球 图 像 的 歧义 性 ， 指 出 如 果 
表面 是 类 C? 型 ， 则 半球 可 克服 in/out 倒置 歧义 性 。 总 的 来 说 ， 尽 管 从 
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理论 上 讲 SFS 可 能 存在 唯一 解 ， 或 者 说 存在 一 定数 量 的 解 ， 但 在 实践 
中 ，SFS 问题 仍然 是 一 个 严重 非 适 定 病态 问题 。 

Zhang 等 人 四 将 SFS 方法 大 致 划分 为 四 类 : 极 小 化 法 5 、 传 播 
法 、 局 部 法 以 及 线性 解法 。 目 前 的 大 多 数 SFS 方法 或 者 基于 极 小 化 误 
差 ， 或 者 致力 于 改进 传播 方法 。 不 过 ， 传 播 法 严重 依赖 于 边界 和 初始 
条 件 ， 或 者 从 已 知 边界 条 件 入 手 1， 或 者 从 奇异 点 入 手 呈 091。 
而 全 局 极 小 化 方法 通常 从 简单 表面 (如 平面 ) 开 始 "1。 
在 很 长 一 段 时 间 内 ， 对 SFS 的 研究 侧重 于 算法 的 普 适 性 研究 ， 
E 来 ， 通 过 假定 某 些 约束 条 件 来 简化 模型 的 研究 重新 得 到 了 关 


y- [107,108,109,110 
a [107,108,109,110) 












































3.1.2 非 刚体 3D 表面 重 构 





基于 单 图 像 的 形变 3D 表面 的 重 构 问 题 由 于 其 天 然 缺陷 呈现 严重 
约束 不 足 , 通用 办 法 是 引进 形变 模型 , 如 超 二 次 型 5 、 三 角形 表面 、 
薄板 样 条 5 等 ， 将 表面 形变 表示 为 模型 参数 ， 首 先 初始 化 模型 ， 然 后 
极 小 化 一 个 基于 图 像 的 目标 函数 。 由 于 这 些 目标 函数 具有 多 个 局 部 极 
小 值 ， 因 此 选取 一 个 恰当 的 初始 化 至 关 重 要 ， 而 这 是 相当 困难 的 。 近 
年 来 有 些 方法 提出 基于 一 个 形状 已 知 的 参考 图 像 寻 找 方法 来 允 近 该 
区 状 上 "9， 而 不 需要 形变 的 任何 知识 ， 但 假设 表面 不 可 伸展 ， 且 邻 
近 点 之 间 的 距离 保持 不 变 。 这 种 假设 对 于 诸如 硬 纸板 等 无 弹性 材质 较 
合适 ， 但 对 于 弹性 材料 却 不 适用 。 模 型 分 析 虽 然 可 以 降低 问题 维 数 ， 
但 当 用 于 检索 形变 对 象 时 ， 不 能 捕捉 复杂 形变 的 物理 现象 ， 因 为 需要 
控制 更 复杂 的 非 线 性 模型 ?1。 
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传统 的 SFS 和 SFT 通过 强制 表面 平滑 性 ， 并 假设 表面 是 
Lambertian 类 ， 或 者 统计 出 同 质 纹理 分 布 来 实现 上 述 目标 。 这 些 方法 
的 不 足 之 处 是 ， 需 要 过 多 的 假定 条 件 ， 或 者 即使 能 够 得 到 理想 的 逼近 
解 ， 其 迭代 过 程 也 需要 较 好 的 初始 假设 。 而 且 这 些 方法 不 适用 于 弹性 
表面 。 有 文献 [113] 提 出 组 合 使 用 SFS 和 SFT， 以 克服 解 的 歧义 性 ， 但 
EEUE T E ERRE. 

上 述 这 些 方法 无 论 如 何 改进 ， 总 是 需要 模型 初始 化 ， 然 后 极 小 化 
基于 图 像 的 目标 函数 ， 但 这 可 能 存在 多 个 局 部 极 小 值 。 例 如 ， 在 逐 帧 
跟踪 方案 中 ， 在 某 一 帧 中 获得 的 形状 参数 虽然 可 以 充当 下 一 帧 的 初始 
值 ， 但 仍然 需要 指定 第 一 帧 的 参数 ， 而 且 如 果 跟 踪 失 效 ， 则 无 法 完成 
重 构 。 为 了 避免 这 种 失败 ， 必 须 寻 求 一 种 不 依赖 初始 假定 解 即 可 恢复 
3D 形状 的 新 方案 。 有 文献 [93,111,112] 讨 论 了 这 个 问题 ， 但 是 其 都 依 
赖 于 表面 点 间 的 距离 保持 恒定 这 样 一 个 假定 条 件 ， 这 对 于 非 弹 性 对 象 
是 合适 的 ， 而 对 于 弹性 对 象 则 是 无 效 的 。 本 章 所 提出 的 方案 对 弹性 或 
非 弹性 对 象 都 适用 ， 而 且 存 在 闭合 式 解 。 




























































































3.1.3 ”基于 多 项 式 的 SFS 模式 


我 们 知道 ， 线 搜索 、 同 伦 分 析 法 、 半 定 规划 等 非 线 性 优化 算法 可 
于 多 项 式 系统 的 求解 等 。 因此 ,一 个 很 自然 的 想法 是 ， 如果 能 将 
SFS 问题 转化 为 一 种 多 项 式 结构 , 则 可 使 用 这 些 成 熟 的 算法 来 重 构 3D 


=; 


RH 



































仍然 以 Lambertian 模型 为 例 , FEARI =1, 反照 率 p=1， 
则 根据 式 (3.4) 有 
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_ -ap—bq+e 


对 式 (3.8) 两 边 取 平 方 ， 经 整理 得 到 一 个 二 次 方程 为 


I €[0,1] (3.8) 


+p +@°)P —(-ap—bq+cy =0 (3.9) 


为 避免 1<0， 增 加 一 个 约束 条 件 为 


-ap—bq+c20 (3.10) 














这 样 ，SFS 问题 归结 为 寻找 一 个 表面 z(x,y) ， 其 图 像 中 每 个 像素 
度 都 满足 式 (3.9) 和 式 (3.10)。 

很 明显 ， 式 (3.9) 形 式 的 多 项 式 形式 与 式 (3.8) 的 商 形 式 相 比 ， 有 具有 
很 多 好 处 。 首 先 ， 基 于 多 面体 的 SFS 多 项 式 系统 可 用 同 伦 分 析 法 完全 
求解 [53， 其 次 ， 若 将 SDP 用 于 多 项 式 系统 可 产生 较 理想 的 逼近 解 ， 而 
不 依赖 于 初始 值 ; 第 三 ， 精 确 线 搜索 非常 适用 于 多 项 式 系统 ， 使 得 SFS 
迭代 算法 具有 较 高 的 执行 效率 9。 


= 
= 

















3.2 ”构建 同 伦 分 析 框 架 的 SFS 模式 


针对 Horn 方法 的 计算 复杂 性 ，Lee 等 人 7 提出 了 高 效 的 迭代 算 
法 ，Pennal'o 则 将 其 拓展 到 透视 投影 情况 。YangDa、Shimodairar 9 
等 人 则 研究 了 存在 多 重 解 的 可 能 性 ， 将 空间 划分 技术 用 于 SFS 求解 ， 
但 当空 间 维 数 增加 时 ， 收 敛 速度 将 变 得 相当 慢 HF SFS 可 以 转 
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化 为 多 项 式 系统 ， 可 以 应 用 同 伦 分 析 法 ， 即 从 一 个 结构 上 相似 且 所 有 
解 已 知 的 多 项 式 系统 开始 ， 在 从 这 个 相似 的 多 项 式 系 统 连续 形变 到 所 
望 的 多 项 式 系统 的 过 程 中 ， 跟 踪 解 路 径 。 同 伦 分 析 法 可 确保 寻找 到 
所 有 解 ， 而 不 需要 任何 初始 值 。 

为 不 失 一 般 性 , 假设 表面 由 三 角形 网 构成 , 考察 某 顶 点 vw 及 其 个 
核 逆 时 针 方 向 排列 的 相 邻 顶点 v…,v， 如 图 3.2 所 示 。 



























































图 3.2 ”围绕 一 个 顶点 的 一 种 三 角 剖 分 
为 了 简单 化 ， 将 坐标 系 平移 ， 使 得 w =(0,0,0) 。 则 一 个 三 角形 
(vv 的 法 向 与 Vy = O;Z — Vino aZ 一 Zi Mir — Xa) 
成 比例 。 将 前 两 个 坐标 值 除 以 最 后 的 那个 坐标 5 -xy ， 得 到 
vvacxc(P-9D， 其 中 =- 忆 ,-9 分别 为 








a Viin T Vink -4 = XinZi XiZitl (3.11) 


Pi > 有 
Xin 一 和 41 及 Xin T Xin 





对 于 邻 域 范围 内 的 每 个 三 角形 ,将 式 (3.11) 代 入 式 (3.9) 中 ， 得 到 
个 关于 z=(z,…,z) 的 二 次 方程 , 简 记 为 f(z)=0， EEFE X 个 解 。 
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ECA f(z)=0 的 解 的 大 概 情况 (例如 ， 己 知 位 于 某 个 已 知 点 附 
近 )， 则 可 使 用 类 似 牛 顿 法 来 求解 。 若 对 目标 解 一 无 所 知 ， 如 果 随 机 地 
选 一 个 初始 点 ， 则 可 能 导致 系统 发 散 而 无 法 产生 目标 解 。 这 时 候 就 可 
使 用 同 伦 分 析 法 来 求解 。 
所 谓 同 伦 分 析 法 , 就 是 从 一 个 已 知 解 的 结构 类 似 的 简单 函数 g(z) 
逐渐 形变 到 目标 函数 f(z) 的 过 程 。 这 时 候 需要 构造 一 个 新 函数 。 


























A\(z,t)=t- f(z)+(—-t)- g(z) (3.12) 


其 中 ，te[0,] 称 为 同 伦 参 数 。g(z)= 0 为 解 已 知 的 结构 类 似 的 方 
Feo WA, “t=O, h'(z,0)=g(z) 。 同 伦 分 析 过 程 就 是 使 +=0 一 1 
逐步 变化 ， 直 到 +=1 时 Ar(z,D=AGz) ， 即 表示 找到 了 f(z) = 0 的 解 。 
为 不 失 一 般 性 ， 这 里 考察 复数 域 C 。 当 用 多 面体 同 伦 方法 解 一 个 多 项 
RRA ,f(z)=0， 其 中 :GaD)=(1GD) (DEC eec, E 
z=(21,2,,…;2;) EC"”。 较 多 的 文献 资料 已 经 充分 证 明 ， 对 于 大 多 数 多 
项 式 系统 ;多 面体 同 伦 方法 足 可 以 找到 系统 所 有 的 孤立 解 。 

为 提高 数值 稳定 性 ， 令 se(-%,0] > 1=exp(s)e[0,1], #8 
h(z,s)=h'(z,exp(s)) > WA 























h(z,—20) = lim hz,s) = h'(Z,0) (3.13) 


RIPE EK IER S., W h'(z,0)=0 AYRES AB 2° 充当 
h(z,—s°) = 0 的 一 个 精确 解 ， 因 此 ， 可 以 从 (z",-s") 开 始 ， 跟 踪 同 伦 系 
统 h(z,s) 的 一 条 解 曲 线 ， 如 图 3.3 所 示 。 
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3.3 EDITAR R 


上 述 步骤 可 总 结 为 表 3-1 所 示 的 算法 流程 。 


表 3:1 同 伦 方法 求解 表面 的 算法 流程 





步 又 


内 容 
构建 了 (z)=0 方 程 ， 进 而 构造 类 似 方程 g(z)=0 ， 使 得 g(z)=0 易于 
求解 _ 
HNE EME RZ Alz, s) = (hh(z,s),h(z,5),…,h, (2,5) € C", 
(zs) € C"x(-o%,0] ， 要 求 满足 Alz,s) = exp(s) f(z) + (1 - exp(s)) g(z) 
&s=-s° 30, s 为 一 个 足够 大 的 正 数 , 此 时 A(z,s°) = g(z) EJ z 
迭代 下 述 过程 ， 直 到 *=0 
(0) 令 s'=s+aw ，w>0 为 较 小 的 迭代 步 长 。 
(2) (85 M(z,s') = expls') f(z) +(1—exp(s)g(2) « 





(3) 应 用 牛顿 法 等 求 Wz,s7=0 的 解 z 





验证 s'=0 处 h(z,s')=0 的 解 








返回 z' 








在 对 围绕 每 一 个 顶点 的 所 有 可 能 构 型 都 求解 之 后 ， 需 要 进一步 修 
BY AE, 即 舍弃 那些 违反 式 (3.10) 约 束 条 件 的 构 型 ,或 邻 点 不 存在 兼容 构 
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型 的 构 型 。 其 实质 是 解决 一 个 约束 满足 问题 ， 以 识别 所 有 的 一 致 性 全 
局 解 。 由 于 某 个 顶点 的 一 种 构 型 及 其 邻 点 唯一 确定 了 该 顶点 邻 点 的 构 
型 , 因此 , 利用 一 个 简单 的 指派 传播 和 回溯 算法 即 可 找到 所 有 全 局 解 。 
图 3.4 所 示 是 基于 同 伦 分 析 法 的 多 面体 的 SFS 效果 。 图 3.4(a) 的 
表面 含有 280 个 大 小 各 异 的 五 边 形 局 部 面 片 ;经 预 处 理 转化 为 含有 340 
个 三 角形 面 片 ， 如 图 3.4(b) 所 示 ; 再 使 用 本 节 所 述 的 同 伦 分 析 方法 ， 
重 构 出 3D 表面 形状 ， 如 图 3.4(c) 所 示 ， 该 图 已 经 过 表面 平滑 化 处 理 ， 
显示 出 一 种 釉质 感 。 



































































































































(a) 多 面体 





A 


(b) 三 角 网 格 (c) 重 构 出 的 3D 表面 


图 3.4 ”基于 同 伦 分 析 法 的 一 个 多 面体 的 SFS 效果 
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3.3 ”使 用 线 搜索 优化 迭代 过 程 








线 搜索 法 也 称 一 维 搜索 法 ， 是 一 种 用 于 处 理 未 知 变量 函数 的 优化 
和 迭代 算法 ， 是 多 变量 优化 的 重要 基础 呈 "29。 下 面 介绍 如 何 使 用 线 搜 
索 方法 处 理 SFS 问题 ， 以 及 如 何 优化 SFS 迭代 过 程 。 





























3.3.1 建立 线 搜索 基本 框架 


T 


大 多 数 SFS 方法 ， 如 Horn, Zhang!”?!, Szeliski (等 人 着 重 于 在 
一 个 栅 格 上 极 小 化 式 (3.9) 表 示 的 平方 和 。 设 z 三 (z,z,,…,z,)' 为 机 格 上 
所 有 点 的 高 度 信 息 ， 令 p, = Zamu l= Zya 一 2 为 表面 某 点 
v(i, j) 处 在 一 个 正 交 方向 上 的 离散 偏 导数 。 

为 避免 指定 边界 条 件 ， 对 于 一 幅 M xN 的 图 像 ， 构 造 一 个 扩展 栅 
格 (M +Dx(NW+lD ， 然 后 在 这 个 栅 格 上 求解 z 。 这 样 ， 基 于 这 个 扩展 
的 栅 格 ， 将 式 (3.9) 表 示 的 点 vli,j) 的 多 项 式 解 模式 
(l+ p +PP - (ap -bq +c) =0 转 化 为 下 述 的 该 点 邻 域 的 解 模式 。 
































六 2 á = ee ee ee 
[zp Zia Zija ZJ Zra? Zh Zija Zeij 21 413 1,49 Ziyo Zi, pon Ld u, =0 (3.14) 


83 


© 计算 机 视觉 一 基于 图 像 的 3D EH 











中 ， 


u, =(21;,1; —@ 1; —b°,2a(a+b)— 21; ,2b(a+b)-2I;, 
—2ab,—2c(a + b),2ac,2be, I} -c T 




















(3.15) 
将 式 (3.14) 和 式 (3.15) 合 并 写成 以 下 形式 。 
r =z 4z+e;z+h =0 (3.16) 
其 中 ， A, RP AAA 
PrO =i wT WE 
F(z)=(rP (3.17) 


Heh, r 的 雅 可 比 和 矩阵 的 每 一 行 表示 为 J, = 22", +ej ， 对 应 的 
梯度 表示 为 VF = 2.7r 。 由 于 函数 F(z) 是 可 微 的 ， 式 (3.17) 的 优化 问 
题 可 表示 为 

















(P): minF(z) , st. zeR" (3.18) 








设 一 个 起 点 3 ， 再 通过 迭代 过 程 生成 一 个 点 的 序列 人 2 六 。。 当 预 
设 的 某 条 件 满足 时 ， 和 迭代 过 程 终 止 。 表 3-2 总 结 了 上 述 算法 的 基本 
流程 ， 输 入 : URE z 


步骤 
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R32 ” 线 搜 索 优化 算法 


内 容 





2 


For k=0,1,--- 

If zz 是 优化 的 Then 

终止 迭代 。 

Else 

(1) 确定 一 个 搜索 方向 d, ; 

(2) 确定 一 个 步 长 丸 > 0; 

G) 计算 新 的 解 : zt =z, +Ad, 


返回 结果 








1， 确定 搜索 方向 


b= 


以 入 

















地 将 di 设 为 F(z) 在 处 的 下 降 方向 ， 即 


F(z, +Ad,)<F(z,) , VAE (0,£], e>0 (3.19) 





于 F(z) 是 可 微 的 , 4 VE (z,) 40, DEAL VF (z,)" d, <0 的 任何 








di 为 一 个 下 降 方 向 。 因此 , TS d, =-D, VF (z,) ,其 中 DD = H(z," Y 
ANIERE, HEP H(z) =V FE) 也 为 正定 。 























2. 选择 和 迭代 步 长 
一 旦 确定 了 d;， 适 当 的 迭代 步 长 4 可 以 解决 下 面 的 一 维 优化 


问题 。 


min F(z, + Ad) 
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通过 求解 下 面 的 一 维 优化 问题 ， 选 定 一 个 步 长 。 

















A, = arg min 0(A) Ê arg min F(Z + Ad) (3.20) 


因此 假定 F(z) 是 可 微 凸 函 数 ， 可 尝试 求解 下 式 。 


2 =argmin F(Z + Ad) (3.21) 


SEIN AY F(Z + Ad) =argmin F(Z + Ad), HEZ 为 当前 迭代 ，4 为 


当前 搜索 方向 。 
令 0()=FGz+4d)， 由 于 6() 是 凸 函数 ， 因 此 上 述 问题 变 为 

















2 =argmin (2) (3.22) 


2A>0 








由 于 6(4) 是 凸 函 数 ， 目 标 是 找到 一 个 和 使 得 2(4)=0 。 由 于 
(=VF(GE+f4d)，d 是 下 降 方向 所 以 (0)<0 。 假 设 已 知 一 个 满 
Æ OÂ >O 的 元 >0 ， 使 用 表 3-3 所 示 的 对 分 查找 算法 求解 方程 
OA) =0。 





























表 3-3 求解 6(4) =0 方 程 











步骤 内 容 
1 4k =0,4,=0,4, =Â 
j-424, IFES OA) 
5 (DIf O(A)>0, $4, =A,k =k +1; 


(WI O(ND<0, 4A, =A,k=k4+1; 
OIE a(A)=0, ik 
3 返回 结果 
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至 此 得 到 一 个 关于 4 的 单 变量 四 次 函数 ， 其 全 局 极 小 化 涉及 解 一 
个 关于 4 的 三 次 方程 。 由 于 精确 线 搜索 通常 仅 需要 少量 的 函数 求解 ， 
和 迭代 计算 量 要 比 非 精确 线 搜索 少 得 多 ， 而 且 会 避免 陷入 一 个 低劣 的 局 
部 极 小 化 过 程 。 为 了 更 好 地 发 挥 线 搜索 的 优势 ,下 面 介 绍 一 种 新 的 平 
滑 项 ， 以 用 于 加 宽 收敛 域 、 抑 制 波动 。 























3.3.2 ”正则 化 处 理 


根据 式 (3.6)， 最 简单 也 是 最 常用 的 平滑 项 (正则 化 ) 是 对 表面 二 阶 
导数 的 平方 进行 积分 ， 目 标 是 将 表面 不 平坦 的 边缘 处 或 光度 显著 变化 
的 区 域 变 得 平坦 化 。 有 文献 453 建 议 通过 亮度 变化 的 一 种 度量 ， 以 
降低 平滑 项 的 权重 ， 增 大 平滑 项 可 将 亮度 变化 的 表面 区 域 变 得 弯曲 ， 
但 不 能 呈现 明显 的 折 和 县 状 ; 减 小 平滑 项 又 可 允许 表面 存在 轻微 的 振 
荡 ， 以 增加 表面 的 真实 感 。 

首先 考察 两 个 法 向 分 别 为 (=p,-q1,1) ,(-p,,-q;,1) ， 亮 度 分 别 为 
1,1, 的 相 邻 像素 。 两 个 法 向 之 间 的 夹 角 满 足 式 (3.23)。 


cos(8) = cos(arccos(/,) — arccos(/,)) = 1,1, +41- 7? y1- 3} 


(3.23) 



































对 于 平滑 表面 上 的 比较 邻近 的 像素 ， 或 者 对 于 具有 较 大 光亮 度 差 
的 像素 ， 要 求法 向 之 间 的 夹 角 接近 于 最 小 角 us。， 即 








1 
OERI ol0) (324) 
ic Vit pi tar yl+ p3 +g = 
代入 式 (3.8)， 得 到 一 个 关于 :的 四 次 方程 。 
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S(z)= Vip: +49, + DLL, —cos(@)(—ap, — bq, + c)\(—ap, — bq, + oF 





(3.25) 


这 样 ， 上 述 问题 归结 为 下 面 的 最 优化 模式 。 














arg min F(z) + AS(z) (3.26) 
zeR" 


图 3.5 分 别 通过 人 像 与 花瓶 的 如 





E 构 效果 验证 了 上 述 算 法 的 有 





图 3.5 ”基于 线 搜索 法 的 SFS 效果 图 
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3.4 将 SDP 推广 到 SES 问题 


上 述 线 搜索 SFS 需要 预 设 一 个 初始 值 5， 而 这 个 初始 值 若 设置 不 
当 将 会 导致 不 理想 的 局 部 极 小 值 ， 这 显然 不 是 我 们 所 期 望 的 。 因 此 ， 
需要 寻找 一 种 完全 不 同 的 方法 以 确保 收敛 于 一 个 全 局 极 小 值 。 近 年 
K, SDP 凸 松弛 方法 被 广泛 用 于 解决 基于 距离 和 角度 测量 的 几何 问 
题 0* 1。 一 个 很 自然 的 想法 是 ， 能 否 将 SFS 问题 设计 成 为 类 似 的 几 
何 问 题 ? 答案 是 肯定 的 。 基 本 思想 是 ， 引 进 一 个 新 变量 来 表示 变量 之 
职 ， 使 得 非 凸 项 转化 为 线性 ， 再 增加 一 个 半 正 定 约束 以 描述 所 有 变量 
之 间 的 关系 ， 这 些 半 正定 约束 定义 在 单位 三 角形 上 。 

对 于 表面 上 的 每 个 点 (i,7) ， 使 用 变量 的 一 个 扩展 集 x”* ， 理 想 情 
况 下 ，x” 相 当 于 一 个 单项 式 (z,) (zj) jar)? SEH st AEG 
WH, WR rt ste 三 2d ，d 称 为 松弛 阶 次 。 这 样 ，xto,xoto x 指 
向 同一 个 相当 于 (z, ,的 变量 。 当 k=1 时 ， 就 表示 点 (i,7) 处 的 表面 高 
FE, x0 代表 常量 1。 

下 面 将 这 些 变量 排列 进 动 差 矩阵 。 令 (0i,sh)=(0,0,0) ， 
(520Dsp;tp) 是 所 有 六 st 的 一 个 枚 举 ， 且 满足 式 (3.27)。 
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DES 


5 -( i i ate (3.27) 


对 于 每 一 个 图 像 像 素 , 建立 一 种 新 的 约束 条 件 , 即 式 (3.28) 表 示 的 
矩阵 为 一 个 DxD 的 、 秩 为 1 的 半 正 定 矩阵 。 














了 T ia: 
myn ps apoo [ig re aa ] (3.28) 





于 这 个 条 件 是 非 凸 的 ， 因 此 需要 使 用 一 个 凸 松 好 。 对 于 每 个 像 
一 个 半 正 定 约束 定义 在 一 个 刀 x 刀 的 动 差 矩阵 上 ， 该 矩阵 的 元 素 
HIRE o 

















me 


























[M, J, = 全 人 办 [M, | =i (3.29) 
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理想 情况 下 ， 式 (3.29) 中 的 M, 即 为 式 (3.28)。 
对 于 一 个 未 被 阴影 笼 时 的 像素 , 上 述 SDP 松弛 可 表示 为 式 (3.30)。 





min( sea) a-e) (3.30) 





式 (3.30) 服 从 下 面 的 四 个 条 件 。 














(a+t+b)xy” -axy" -bxy" +c 关 0 (3.31) 
rtl,s+l,t Alaa K iii a 
(3.32) 
yy =0 (3.33) 
y 
M,>0, [M,],=! (3.34) 
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在 上 面 的 系统 中 ， 式 (3.31) 是 将 式 (3.10) 的 约束 条 件 用 p,g 离散 差 
形式 重新 书写 。 而 式 (3.32) 是 将 式 (3.14) 乘 以 单项 式 
(2) Ga) (zijn) 得 到 的 ， 其 中 所 有 非 负 整数 x,s,t ， 满 足 
r+stt<2d-2; u, 是 类 似 式 (3.15) 中 的 常 向 量 : = 是 一 个 松弛 变量 。 
条 件 式 (3.33) 用 于 校准 正 投影 中 的 全 局 深度 歧义 性 。 式 (3.34) 是 来 自 于 
式 (3.28) 的 半 正 定 约束 。 式 (3.30) 的 目标 是 极 小 化 轨迹 与 G 倍 松弛 变量 
的 和 ， 其 中 的 G 是 所 有 动 差 矩阵 中 对 角 元 素 的 总 数 。 对 于 某 个 具体 问 
题 来 说 ，G 是 一 个 常量 。 理 想 地 ， 和 矩阵 Mi 的 秩 为 1。 轨 迹 极 小 化 通 
常用 于 逼近 和 矩阵 秩 的 极 小 值 029。 

可 利用 上 一 章 所 述 的 SDP 解法 在 多 项 式 时 间 内 获得 结果 M, BI 
式 (3.28)， 而 不 需要 任何 初始 假定 。 

下 面 再 从 式 (3.29) 中 的 M 提取 最 终 解 。 由 于 问题 是 凸 性 的 ， 矩阵 
M, 可 能 是 解 的 加 组 合 。 例 如， 当 工 =(0;0,D)， 解 z(x,y) 和 z(x,y) 这 
一 个 组 合 使 得 WW ”=0 Waki 等 人 "提出 一 种 伴随 随机 扰动 的 解 提取 
过 程 , 将 边界 条 件 加 于 偏 微分 方程 上 030.。Henrion 等 人 中 探讨 了 基于 
稠密 松弛 的 解 提取 方法 。 图 3.6 给 出 了 线 搜索 法 和 SDP 法 的 表面 重 构 
效果 对 比 。 
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(a) 原 图 


图 3.6 RRAK SDP 法 的 重 构 效果 
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480 
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(b) 线 搜索 法 重 构 效果 








(c) SDP 法 重 构 效 果 
3.6 BiB AKA SDP 法 的 重 构 效果 ( 续 ) 
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图 3.6 中 的 线 搜索 法 的 初始 状态 是 z= 0 。 使 用 同一 个 光源 ， 松 弛 
阶 次 d=2 ， 从 低 分 辩 率 图 像 得 到 SDP 结果 。 图 3.7 是 本 章 所 述 三 种 
方法 的 重 构 效果 的 简单 比较 。 





(c) 线 搜索 法 重 构 效果 (d) 同 伦 分 析 法 重 构 效果 





图 3.7 三 种 方法 的 SFS 重 构 效 果 比 较 


_ © 计算 机 视觉 一 基于 图 像 的 3D 重 构 











经 典 SFS 方法 的 理论 依据 是 去 = PN.Z5 ， 若 已 知 光源 方向 工 、 


入 射 光 强 以 及 表面 反照 率 p ， 即 可 根据 观察 到 的 图 像 强度 7 恢复 出 
表面 法 向 N， 再 对 进行 积分 运算 重 构 出 3D 表面 形状 。 但 如 果 表 


















































不 连续 即 存在 N 无 法 确定 的 表面 区 域 ， 将 导致 SFS 无 解 或 无 穷 多 解 。 
另外 , 现 有 的 SFS 方法 多 基于 人 迭代 运算 ,需要 假定 一 个 恰当 的 初始 解 ， 
若 设置 不 当 将 导致 最 终 解 收 么 于 局 部 较 小 值 或 产生 多 重 歧义 解 。 且 迭 
代 过 程 复 杂 ， 计 算 量 大 ， 对 于 某 些 非 凸 项 来 说 极 可 能 导致 无 解 或 无 穷 
多 解 。 针对 传统 SFS 的 这 种 局 限 性 , 提出 将 SFS 问题 规划 为 多 项 式 结 
构 ， 再 将 成 熟 的 同 伦 分 析 法 、 优 化 线 搜索 法 和 半 定 规划 法 等 用 于 求解 
该 多 项 式 ， 设 计 了 新 的 平滑 项 ， 使 SFS 摆脱 了 对 初始 假定 的 依赖 性 ， 
优化 了 和 迭代 过 程 ， 对 非 凸 项 实现 了 统一 化 的 SDP 凸 松弛 处 理 。 这 种 将 








果 表 明 























单 图 像 的 3D 表面 重 构 问题 归 入 到 一 个 成 熟 的 理论 框架 体系 的 一 种 党 














SFT、SFM 等 重 构 方法 的 研究 都 具有 重要 的 参考 价值 。 实 验 结 
， 这 种 处 理 方案 大 大 改善 了 SFS 方法 的 高 效 性 和 普 适 性 ， 对 弹 








性 表面 和 非 弹性 表面 都 有 较 好 的 重 构 效 果 。 
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离散 歧义 性 的 
SFT 解决 方案 





$ 计算 机 视觉 一 基于 图 像 的 3D EH 





基于 纹理 的 表面 形状 重 构 (SFT) 方 法 主要 根据 表面 上 重复 出 现 的 
单个 纹理 图 案 的 畸变 现象 ， 或 整个 表面 纹理 的 统计 分 布 特性 ， 来 恢复 
表面 法 向 信息 。SFT 总 体 上 类 似 于 SFS， 但 包含 了 更 多 的 有 效 信息 ， 
如 投影 缩减 现象 等 , 但 仍然 需要 一 些 假定 约束 条 件 。 由 于 SFT 是 严重 
约束 不 足 问题 ， 常 见 的 假定 条 件 只 能 用 于 解决 特定 对 象 或 特定 类 型 的 
纹理 表面 。 为 此 ,本章 主 要 讨论 具有 折 枉 歧义 性 的 纹理 图 案 , 并 将 SDP 
法 用 于 解决 这 种 歧义 性 SFT 问题 。 


41 5) F 








纹理 可 分 为 确定 性 纹理 和 统计 性 纹理 。 确 定性 纹理 是 指 重复 显示 
的 几何 形状 ， 如 圆 形 、 抵 形 及 其 他 修饰 图 案 。 统 计 性 纹理 是 指 按 固 
概率 变化 的 图 案 。 由 于 SFT 是 约束 不 足 问题 ,一 般 需 要 假定 一 些 约束 
条 件 。 例 如 ， 对 于 确定 性 纹理 ， 一 般 假 设 相 机 已 标定 正 投影 环境 ,或 
假设 纹理 是 同 质 的 、 各 项 同性 的 。 如 果 观 察 到 的 一 个 表面 片 是 平坦 的 ， 
根据 该 面 片 与 前 视图 之 间 的 变换 ， 可 以 计算 出 表面 片 的 法 向 。 而 对 于 
统计 性 纹理 ， 一 般 假设 以 下 一 些 前 提 条 件 。 

(1) 正 投影 形成 的 纹理 ， 即 前 视图 。 

(2) 整体 表面 或 局 部 表面 片 是 近似 平坦 的 。 

(3) 纹理 元 素 是 较 小 的 线段 ， 一 般 称 为 探 针 。 

(4) 探 针 在 整个 表面 和 所 有 方向 均匀 分 布 。 

使 用 局 部 法 估计 表面 法 向 存在 两 个 局 限 性 : 四 必须 知道 表面 片 的 
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前 视 外 观 ，@ 每 个 估计 出 的 法 向 实际 上 是 一 个 有 歧义 法 向 对 ， 一 是 真 
实 法 向 ， 二 是 穿越 视 向 的 镜像 。Forsyth' AM Lobay 侧重 估计 呈 
现 重复 图 案 的 前 视 纹 理 的 法 向 ， 使 用 表面 平滑 来 消除 法 向 歧义 性 。 而 
Loh 和 HartleyD 则 通过 透视 效应 来 克服 歧义 性 基于 单 幅 图 像 的 SFT 
存在 各 种 歧义 性 ， 其 中 较 严 重 的 是 对 称 歧义 性 ， 如 in/out Necker 倒置 
歧义 性 (参见 图 1.17) 和 二 进 制 符号 歧义 性 (参见 图 1.16). 在 这 些 约束 不 
足 情形 下 ， 根 据 不 同 的 约束 条 件 ， 表 面 可 能 有 多 种 解释 。SFT 方法 需 
要 从 具有 纹理 的 表面 感知 健壮 的 3D 效果 ， 如 4.1 图 所 示 的 是 一 些 动 
物 图 案 的 纹理 表面 。 


“ee 
ai 


图 4.1 合成 纹理 表面 
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二 进 制 歧义 性 较为 简单 ， 如 表面 图 像 的 折 麦 歧义 性 ， 表 面 法 向 可 
从 这 种 双 折 半 歧义 性 的 纹理 表面 中 估计 出 来 。 图 4.2 是 一 个 特殊 的 二 
进 制 歧义 性 例子 ， 重 点 考察 了 纹理 元 素 之 间 的 表面 平滑 性 。 





42 “考察 表面 平滑 性 


图 4.2 考察 了 一 个 凹 / 凸 球面 。 在 四 个 位 置 上 从 纹理 推断 出 形 如 
(£4,0,1)' 、(0,+b,1) 的 有 歧义 性 法 向 。 每 个 法 向 与 其 最 近邻 法 向 之 差 
的 范 数 为 |(ta,0,1) —(0,46,1) |= Va? +b? 。 若 目标 函数 仅 比较 每 条 法 
向 与 其 两 条 最 近邻 法 向 , 则 任意 的 交换 分 配 都 具有 相同 的 价值 。 但 是 ， 
这 种 依赖 最 近邻 法 向 的 特殊 构 型 是 无 益 的 ， 因 此 须 重 视 纹 理 元 素 间 的 
表面 平滑 性 。 

在 这 种 情况 下 描述 图 像 表 面 带 来 两 个 挑战 ， 一 是 必须 在 所 有 可 能 
的 法 向 中 确定 哪 一 个 法 向 是 正确 的 ; 二 是 必须 将 所 选择 的 法 向 积分 到 
一 个 候选 表面 上 ， 如 图 4.3 所 示 。 
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(a) 表面 法 向 图 





(b) 积分 得 到 的 表面 形状 
4.3 ”由 表面 法 向 恢复 表面 形状 


” ”计算 机 视觉 一 一 基于 图 像 的 3D BH 


在 存在 歧义 性 的 情况 下 ， 这 是 一 个 难题 ， 其 不 满足 常用 的 一 些 
如 图 割 的 优化 方法 的 条 件 55。 不 过 可 以 用 半 定 规划 法 来 实现 逼近 求 














解 。SFT 


oR 




















诸 








问题 的 基本 求解 步骤 如 表 4-1 所 示 。 
表 4-1 SFT 问题 的 求解 步骤 


内 容 








将 表面 表示 为 一 个 样 条 函数 ， 即 用 一 组 连续 变量 控制 形状 ， 再 用 离散 
变量 构成 歧义 性 约束 

定义 一 个 二 次 目标 函数 来 度量 表面 平滑 度 和 约束 满足 度 。 消 除 连 续 变 
量 ， 产 生 一 个 仅 含 离散 变量 的 二 次 目标 函数 
使 用 SDP 松弛 法 ， 将 离散 变量 嵌入 一 个 连续 高 
采用 圆 整 法 整合 离散 变量 ， 拟 合 一 个 3D 形状 


维和 


= fi] 






4.2 ”歧义 性 约束 模式 


从 几何 本 质 上 看 ，SFT 非常 类 似 于 立体 视觉 和 SFM. YT SFT 


归 入 到 此 类 的 多 视图 框架 中 ， 考 察 表面 上 具有 同样 纹理 的 邻近 两 个 面 























片 。 这 两 个 面 片 在 单 目 视图 下 差异 细微 , 得 到 单 图 像 下 的 多 视图 结构 。 














这 样 , 很 











然 地 存在 一 种 两 步骤 求解 模式 : (1) 从 单 图 像 计算 纹理 畸变 ; 











(2) 解 释 这 种 纹理 畸变 以 指示 表面 法 向 和 3D 形状 。 


























因此 ， 根 据 立 体 视觉 的 求解 模式 ， 实 际 应 用 中 的 表面 重 构 问题 可 




















以 写成 以 下 的 极 小 化 形式 9。 
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argmin|Av— Bd (4.1) 
vd 


Kp, A,B 是 和 矩阵; del ly 是 离散 判定 变量 的 一 个 向 量 ; 
VER” 是 决定 表面 的 连续 变量 的 一 个 向 量 。 将 表面 表示 为 一 个 样 条 函 
数 ， 即 为 某 基 函 数 的 一 个 线性 组 合 。 


24,9) = (%)y, (42) 
i=l 











为 描述 简便 ， 假 设 图 像 是 正方 形 的 ， 可 使 用 张 量 积 作为 样 条 基 ， 





即 


b, (x,¥) =8,(x) ®b,(y) (4.3) 
FE, b,b, 为 与 下 述 矩 阵 的 较 小 的 奇异 值 对 应 的 奇异 向 量 。 


1 25150 … 0 


0 142 1 … 0 
有 | (4.4) 
O we ow PT = 1 
所 谓 张 量 积 ， 也 称 外 积 ， 例 如 ， 
b, ab a,b, a,b, 
b, b, a,b. b, 
b@az|” [a a,]= aD, A,D, 30, (4.5) 
b, 7 i a,b, a,b, a,b, 
b, a,b, a,b, a,b, 
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对 于 平滑 项 ， 可 以 使 用 图 像 二 次 导数 的 平方 和 (能 量 项 )。 例 如 ， 

















XIF b, (x, y) 的 能 量 为 
ab, Y (ab, Y 
2 2 2 6 
@=|pbl +|Db, = il = f | dxdy (4.6) 





gh, pall 

需要 指出 的 是 ， 对 于 张 量 积 样 条 基 ， 仅 需要 积分 一 维 函数 。 向 量 
Db, 与 忆 的 左 奇异 向 量 成 比例 ， 因 此 是 正 交 的 。 由 于 基 函 数 乌 是 正 交 
的 ， 就 像 Db, ， 由 "控制 的 一 个 样 条 的 平滑 度 可 以 写 为 | Er 上 |， 其 中 瑟 
为 一 个 对 角 和 矩阵 ， 元 素 为 每 个 基 所 用 的 @,。 这 种 方法 相对 于 Fourier 
基 的 优势 是 ， 基 向 量 是 非 循环 的 。 这 里 所 谓 循环 向 量 ， 假 设 亚 为 有 限 
维 的 向 量 空间 ，4 为 一 个 自 同 态 ， 若 ww4w;… 人 构成 亚 的 一 个 基 ， 
换 句 话说 ，pair(A,v) 是 完全 可 达 的 ， 则 称 ” 为 VV 的 一 个 循环 向 量 。 
一 个 相对 低 维 的 参数 向 量 v 来 控制 表面 ， 可 降低 计算 量 ， 且 可 抑制 含 
噪 情况 下 的 过 拟 合 现象 。 



















































































4.2.1 表面 法 向 义 性 











使 用 传统 的 SET 方法 估计 表面 法 向 时 , 主要 根据 投影 过 程 发 生 的 
纹理 畸变 。 例 如 ， 原 来 的 正方 形 纹理 经 投影 后 可 能 变 为 平行 四 边 形 或 
退化 的 三 角形 ， 或 者 表面 发 生 裙 皱 现象 ， 如 图 4.4 所 示 。 
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(a) 纹理 元 素 形状 畸变 





(b) 纹理 表面 产生 裙 皱 


图 4.4 纹理 投影 畸变 


相同 的 ， 如 图 4.5 所 示 。 
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法 向 (p, gq, 1) ERE 


\ RA) 
图 4.5 双 折 又 倾 斜 歧义 性 


图 4.6 演示 了 具有 大 量 歧义 性 法 向 表面 的 估计 结果 。 这 里 使 用 简 
单 的 方法 来 恢复 法 向 , 即 基于 已 知 的 纹理 元 素 的 畸变 。 例如 , 在 图 4.6 
中 ， 正 方形 形状 纹理 斑 块 投影 后 变 为 平行 四 边 形 。 


(a) 含有 正方 形 形 状 纹理 斑 块 的 表面 


(b) 输入 图 



































46 ”基于 歧义 性 法 向 的 表面 形状 估计 
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(c) 从 输入 图 像 中 提取 的 平行 四 边 形 形 状 的 斑 块 





(d) 计算 得 到 的 输出 表面 


图 4.6 基于 歧义 性 法 向 的 表面 形状 估计 ( 续 ) 





不 过 对 于 稀 玖 纹理 情况 ， 上 述 问 题 是 严重 约束 不 足 的 ， 因 为 对 于 
法 向 的 任何 选择 ， 表 面 都 是 连 成 一 体 的 ， 而 车 存在 纹理 则 将 使 得 表面 
呈现 多 种 视觉 效果 ， 看 似 存在 各 种 形状 。 另 外 ， 在 正 投影 下 ， 存 在 一 
个 全 局 的 inout 倒置 歧义 性 ， 以 及 绝对 深度 的 连续 歧义 性 ， 即 深度 信 
息 为 离散 化 。 但 如 果 表面 是 平滑 的 ， 可 识别 最 可 能 的 一 种 形状 。 另 外 ， 
Forsyth 提出 类 似 的 交 葵 算 法 , 即 在 优化 表面 平滑 度 和 选择 法 向 之 间 
交替 执行 。 

若 采用 一 个 二 次 平滑 项 ， 上 述 问题 将 转化 为 一 个 彻底 的 离散 优化 
问题 。 设 表面 的 偏 导 数 分 别 为 p=dz/dx 、g=dz/dy 。 在 一 个 指定 医 






























































105 


© 计算 机 视觉 一 -基于 图 像 的 3D EH 


像 点 (%,») 观 察 到 的 纹理 ， 为 对 应 的 表面 导数 提供 了 两 种 选择 ， 记 为 
(pi,4;)d;， 其 中 4 =+l， 对 应 两 个 对 折 的 表面 。 

将 式 (4.2) 分 别 对 x,y 求 偏 导 ， 可 以 用 向 量 v 来 表示 样 条 表面 的 
导数 。 






































(0,---,0, pi;,0,…,0)d =a, -v 
| j (4.7) 


(0,---,0,4,,0,---,0)d =a, -v 








其 中 ，4d 为 一 个 由 符号 位 (1) 4 构成 的 向量， 而 a, ,a, 为 两 
个 已 知 的 行 向 量 。 

因此 ， 使 用 一 个 二 次 平滑 项 ， 并 通过 使 用 矩阵 巨 将 平滑 项 表示 为 
样 条 参数 的 形式 ， 这 样 ，|Ev| 代表 了 平滑 项 能 量 。 再 用 一 个 正则 化 
参数 4 来 为 平滑 项 能 量 指定 权重 ，4 用 来 在 平滑 项 能 量 和 约束 误差 之 
间 寻 求 均 衡 。 总 体 来 说 ， 这 些 项 可 以 写成 类 似 式 (4.1) 的 形式 。 


argmin Wig (4.8) 
一 一 et 


4 B 




















这 里 ，A4',B' 为 式 (4.7) 中 的 约束 所 构成 的 矩阵 ， 即 式 (4.7) 中 的 每 
个 约束 显示 为 4'v= B'd 的 一 个 单行 。 其 中 v 是 连续 的 ，d 是 离散 的 。 


4.2.2 ”线段 定向 歧义 性 





假设 在 一 个 平滑 表面 上 检测 出 一 组 已 知 3D 长 度 的 线段 , 如 图 4.7 
所 示 。 





第 4 章 离散 歧义 性 的 SFT 解决 方案 








(b) 输入 图 像 


47 线段 及 其 表面 计算 结果 


计算 机 视觉 一 一 基于 图 像 的 3D 重 构 

















(d) 使 用 含 50 基 函 数 的 样 条 来 计算 得 到 的 表面 
图 4.7 线段 及 其 表面 计算 结果 ( 续 ) 


给 定 一 个 正视 图 ， 每 个 线段 具有 一 个 front/back 倒置 ， 这 就 是 定 





向 歧义 性 ， 是 离散 化 的 。Naito 和 Rosenfeld039 及 Koenderink 等 人 [7 
研究 了 类 似 的 问题 。 线 段 两 个 终点 之 间 的 深度 差 为 


(4.9) 








Hp, d,=41; 1 是 线段 的 3D KIE: 性 是 线段 在 图 像 中 的 长 度 。 


, 


y 
a 
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假设 17, (这 里 是 A, ) 是 已 知 的 。 根 据 式 (4.2), 点 (xm) 处 的 深度 z 
是 该 点 样 条 基 的 线性 组 合 。 也 就 是 说 ，z 可 表示 为 v, HP a 为 一 








个 已 知行 向 量 。 
每 个 深度 约束 可 写 为 式 (4.10)。 


ij 


(a, —a,)v =(0,---,0,A,,,0,---,0)d (4.10) 


收集 所 有 约束 的 方程 ， 加 上 平滑 项 ， 可 以 写成 类 似 于 式 (4.8) 的 
形式 。 


4.3 基于 SDP 的 离散 歧义 性 解决 方案 




















下 面 求解 式 (4.1) 形 式 的 组 合 优化 问题 ， 如 下 式 所 示 。 


G: argmin|Av—Bd f 
vd 


其 中 ，A4,B 是 约束 矩阵 ，d e (1) 是 离散 判定 变量 的 一 个 向 量 ， 
即 d=(4d,d,,…,d,); ye 及 "是 决定 表面 的 连续 变量 的 一 个 向 量 。 








4.3.1 构造 SDP 松弛 





下 面 设计 一 个 SDP， 使 得 其 值 为 式 (4.1) 的 优化 值 Opt(G) 的 下 限 。 
这 是 最 关键 的 一 个 步骤 。 若 固定 向 量 4 ， 则 式 (4.1) 的 优化 解 v 为 
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v= A Bd (4.11) 











其 中 ， 4* 为 4 的 伪 逆 。 再 将 式 (4.11) 反 代入 式 (4.1)， 得 到 





|44°Ba-Bal =|(44°B-B)d\ 
=C-X (4.12) 


non 
= evry 
i=l j=l 


Jt, C=(44°B-B)'(4A’B-B)=B'(I- AA*)B, X=d'd. 
因此 ， 式 (4.1) 形 式 的 问题 归结 为 下 面 的 仅 关 于 4 的 优化 问题 。 





argmin C- (d"d) (4.13) 
děj" 

式 (4.13) 与 式 (4.1) 具 有 相同 的 优化 值 Opt(G)。 一 旦 求 得 了 d， 根 
据 式 (4.11) 即 可 确定 5， 再 根据 式 (4.2) 即 可 得 到 表面 3D 形状 。 显 然 ， 
WR (vav 0, 2d) dy sd, ) 是 式 (4:1) 的 一 个 可 行 解 , W (4,d,,…,q,) 
为 式 (4.13) 的 一 个 可 行 解 。 

一 般 情况 下 ， 式 (4.13) 中 的 问题 是 一 个 NP- 难 题 ( 汶 ， 无 法 在 多 项 
式 时 间 内 求 的 优化 解 。 但 是 , 很 多 文献 从 各 个 角度 论证 了 SDP 技术 适 
有 于 求解 此 类 问题 的 逼近 解 。 

HF d e{-1,1}", MAd? =1， 因 此 矩阵 X = d'd 是 主 对 角 线 为 1 
的 对 称 半 正定 矩阵 。 这 样 ， 式 (4.13) 就 可 归结 为 下 述 SDP 问题 。 
























































argminC:X s.t. x, =1, i=1,2,---,n,X +0 (4.14) 
X 
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换 句 话说 ， 式 (4.14) 是 式 (4.13) 的 一 种 SDP 松弛 ， 且 具有 有 限 值 
SDP(G) < Opt(G) 。 若 对 矩阵 X HEIT Cholesky 因 式 分 解 , 即 X =U'U ， 
其 U0 为 一 个 下 三 角 算 阵 。 令 uw 为 U 的 第 i 列 ， 由 于 x = uu =l, A 
此 UU 中 的 列 可 看 成 将 判定 变量 嵌入 RR" 中 的 一 个 单位 球 。 

于 式 (4.14) 的 SDP 问题 是 凸 性 的 ， 可 以 在 多 项 式 时 间 内 
SDP 解 算 机 求解 , 可 在 多 项 式 时 间 内 找到 一 个 六 =1 的 矩阵 X >0， 
使 得 



























































C.X <SDP(G)-¢ (4.15) 


Heh, e 为 任意 小 正 数 。 





4.3.2 EERE 


实际 上 我 们 希望 求解 式 (4.13)， 其 中 的 个 变量 以 是 8" = {-10 的 
元 素 ， 从 而 确定 一 个 向 量 d 。 ni 14) 松 弛 规划 的 一 个 
近似 优化 解 X , 前面 讲 过 , 通过 Cholesky 分 解 X = UTC ,得 到 的 
ri 因此 ， 需 要 寻找 一 种 方法 ， 将 8 反 向 映 
射 到 $" ， 在 这 样 的 过 程 中 ， 要 求 不 会 丢失 太 多 的 目标 函数 值 。 

令 ps3 ， 对 应 一 个 过 原点 的 超 平面 ， 并 定义 下 面 的 映射 。 



































puso (4.16) 
uP 
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A, 上 共有 明确 的 几何 解释 ， 即 尸 将 SS” 划分 为 一 个 闭合 半球 


H={ucS"': p'u > 0} RIXEER A = {u e S"": p'u <0}, WEI 4.8 


所 示 。 








A48 A s 中 向 量 到 Ss" 


H 中 的 向 量 映射 到 1, 而 "中 的 向 量 映射 到 -1。 再 随机 选择 一 


个 p， 重 复 执行 上 述 过 程 。 这 个 过 程 就 称 为 圆 整 操作 。 


对 向 


























p 的 更 好 的 选取 策略 是 ， 在 5S 中 随机 均匀 采样 得 到 一 个 p 。 

为 了 不 丢失 太 多 的 目标 函数 值 , 理所当然 地 希望 wu 值 较 大 的 一 
Ht a; 和 ww 比 该 值 较 小 的 一 对 
着 ww 和 ww 夹 角 


向 量 更 可 能 产生 x 。 由 于 这 个 值 随 


的 增 大 而 增加 , 映射 到 仁 L1 的 措施 将 使 得 夹 角 大 的 那 





将 比 夹 角 小 的 一 对 向 量 更 可 
E 将 说 明 为 什么 随机 选择 p 会 使 得 式 (4.16) 具 有 较 大 的 























能 映射 到 不 同 的 值 。 
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定理 4.1 
Su,u'e S, WWFR(4.16)% u, u' BU BIAS RA 


prob(A, (u) # A, (u')) = il arccos u'u' (4.17) 
T 


证 明 : 
令 ae[0,7] 为 单位 向 量 w 和 uw' 的 夹 角 ， 根 据 余弦 定律 ， 有 


cos(a@) = u"u' € [-1,1] (4.18) 


换 名 话说， æ =arccos(u'u') <[0,7] 。 

如 果 g=0 或 a=n， XRF uctu -u KPACRRNA. B 
W, ZR u 和 ww' 的 一 种 线性 翼 展 L， 即 =span(u,u')， 这 是 恨 "的 一 
个 二 维 子 空间 。 

SrH p 在 该 子 空间 的 投影 ， 则 有 


AT 
pr u (4.19) 


pu'=r'u' 











RERE, 2,(u)#/,(u')» SAMS r 位 于 开 度 角 a 的 一 个 半 开 





DUAR WB, 
Fp EST 中 均匀 分 布 ，r 的 方向 在 [0,2x] PEES o 
































因 





到 





图 4.9 所 示 的 阴影 区 域 。 














Co r 落 进 双 模子 的 概率 为 双 模子 所 覆盖 的 角 范 围 所 占 的 比率 ， 














Balneo 
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图 4.9 随机 贺 整 


通过 上 述 圆 整 步骤 ， 即 可 从 连续 解答 阵 史 中 得 到 离散 向 量 4 。 


2. 分裂 惯 性 法 选择 向 量 p 


下 面 提出 一 种 新 的 方案 用 于 选择 向 量 pe S$” ， 即 通过 分 裂 惯 性 
法 来 分 割 单位 球 。 所 谓 分 裂 惯性 法 (Splitting Inertial Methods, SIM), 
是 由 回归 坐标 对 分 (Recursive Coordinate Bisection, RCB) hy T.T aR 

















m 


特征 向 量 作 为 分 割 轴 。 


其 中 ， 


于 空间 图 形 分 割 。 在 3D 空间 ， 使 用 下 述 和 矩阵 的 最 小 特征 值 所 对 应 





(4.20) 
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T= 0) -p+0) 27), = DW) -x +) -2.)) 


veN veN 
L = WA +O- yA) = = OW) - XI) y.) 
Lp =1y =O) - MEW) -2), TL = Ly =- YW) -x EW) - z.) 


DY EO).90).20) 
7 IN| 


上 面 式 子 中 的 (x(v),y(v),z(v)) 表示 点 v 的 3D 坐标 ， N 为 顶点 的 
总 数目 。 

需要 找到 一 个 平面 ， 垂 直 于 最 小 角 动量 的 轴 ， 将 图 中 的 顶点 划 
分 为 两 个 相等 的 子 集 。 这 种 方法 和 K-L043] 方 法 成 功 结合 ， 即 在 每 个 
循环 步骤 中 ， 用 分 裂 惯 性 法 得 到 的 结果 再 用 K-L 法 加 以 提炼 。 分 裂 
惯性 法 以 前 也 被 用 于 其 他 的 嵌入 操作 5， 但 还 没有 用 于 SDP ik 
入 的 。 

结合 本 书 的 研究 对 象 , X =U'U , 使 用 U 的 相当 于 最 大 奇异 值 
的 主 奇异 向 量 (Principle Singular Vectors，PSV)。 事 实 上 ， 如 果 必 须 选 
择 一 个 平面 的 话 ， 一 个 对 法 向 有 益 的 选择 就 是 那个 主 奇异 向 量 。 

为 了 扩大 平面 的 选择 面 ， 选 取 相 当 于 大 个 最 大 奇异 值 的 奇异 向 量 
的 一 个 线性 加 权 组 合作 为 平面 法 向 选取 的 法 向 ， 即 












































p=} s;4w, (4.21) 
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其 中 ，w; 是 相当 于 奇异 值 4 的 奇异 向 量 。 而 s, ~ N(0,1) ， 表 示 可 
随机 取 值 。 
下 面 简单 说 明 如 何 求解 上 述 奇异 向 量 。 在 大 多 数 线性 代数 中 ， 都 
是 通过 求解 特征 多 项 式 的 根来 得 到 特征 值 。 可 在 大 多 数 情况 下 ， 这 种 
特征 多 项 式 的 根 对 多 项 式 系数 的 变化 很 敏感 ， 所 以 需要 另辟蹊径 。 

设 AeC”，DD 为 一 个 对 角 和 矩阵 ， 如 果 存 在 一 个 可 逆 和 矩阵 宇 ， 满 
足 4=XDX"， 则 称 4 是 可 对 角 化 的 。 如果 4 是 可 对 角 化 的 ， 当 且 仅 
当 4 含有 nn 个 线性 无 关 特 征 向 量 x ,x,,…,x%,， 构 成 R" 的 一 个 基 。 因 
此 , > 

















je] 





























vO zaxi ANY +a, X, (4.22) 
其 中 的 a,a,,…,a; EOR FEL FELL AS, 4E 
A‘ = AN (ax, +a,x, +++ a,x) 
k 
INA k ky ogg na (Ay 
Et 
j=2 al 
(4.23) 


如 果 A AA RPE A A,» MA Sa.) 4] A, 
为 主 特征 值 。 显 然 ， 有 


a k 
名 [各 ] =0 (4.24) 


因此 ， 如 果 a #0, Wl) Av > aA x o 
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可 见 ， 上 式 将 正则 化 ， 避 免 了 上 洪 或 下 洲 ， 因 此 ， 收 全 。 
将 上 述 分 析 过 程 总 结 为 表 4-2 所 示 的 迭代 算法 。 
表 4-2 求解 最 大 特征 值 、 最 大 特征 向 量 的 迭代 算法 








令 w 为 单位 向 量 
For k=1,2,--- 





(1) w= Av"? 
(2) v® =w/|wl 
QB) a® =o)" av 


返回 结果 





HFJ A> >A] 因此 lim(4 /4 一 0。 又 由 于 特征 
HE” xc e ， 所 以 当 丰 全 om， 收敛 于 一 个 主 向 量 。 通 过 上 述 和 迭代 
方法 ， 可 以 有 效 求解 特征 向 量 ， 进 而 获得 上 述 奇异 向 量 。 

3， 角 扫描 

下 面 在 土 述 离散 向 量 的 判定 策略 上 再 进行 改进 ， 即 不 是 根据 单个 
向 量 p 来 判定 ， 而 根据 式 (4.21) 来 随机 选择 一 对 法 向 pi,p,， 所 有 
peSpan(pi,p;) 产生 的 法 向 peRR? 构 成 一 个 单位 圆 , 即 |p|, =1。 该 单 
位 圆 过 图 4.8 的 球 心 ， 将 球 分 成 两 个 半球 ， 形 成 一 个 平面 。 将 翌 入 R” 
的 点 投影 到 这 个 平面 。 

使 用 极 坐 标 系 ， 用 0= (6 ,9,…,6,) ER RRR 中 的 nn 个 向 量 
Pr PrP,» H 







































































cos 6, 
=|. |, Vi=1,2,…,n (4.25) 
sin 6, 


全 
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显然 ， 有 
P; p; =cos(0,-0,) ,Vi,j=1,2,…,n (4.26) 


STO) 为 斜 对 称 和 矩阵 值 函 数 ， 即 


7,(0)=0. -0, (4.27) 








t 


定义 映射 /:R" >R. 








/(0)=3W -cox(T(0)) ,VOEeR’” (4.28) 


其 中 ，cos(T(9)) 为 nxn 和 矩阵 ， 其 元 素 为 7(0) 的 元 素 的 余弦 。 
这 样 ， 式 (4.14) 的 问题 就 转化 为 下 述 形式 。 


arg min f (0) (4.29) 


OER” 





这 是 一 个 无 约束 问题 ， 一 般 具 有 多 重 局 部 、 非 全 局 极 小 值 。 
很 容易 计算 f(9) 的 导数 。 了 (0) 的 一 阶 偏 导 数 为 





FO) S w, sin, -0) , Vi=1,2,---4n (4.30) 
TR- 
因此 ， 有 
8(0)=Vf(0)=[W osin(T(O)] e (4.31) 








其 中 ,“。” 表 示 Hadamard, EI sin(7(6)) FW 逐 元 素 相 乘 。 
S(O) 的 二 阶 偏 导 数 为 








FO | Va itj sn 
20,00, ZG kee) i=j 


= 
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Al, (0) A Hessian 为 
H(0)=V’ f(0@) =W ocos(T(0))— diag([W o cos(T(0))]e) 


(4.33) 








中 ， 对 于 任 一 个 向 量 p ，diag(p) 是 指 对 角 为 p 的 对 角 和 矩阵 。 
令 6 eR" 为 向 量 之 间 的 一 种 角 表 示 , 即 存在 一 个 整数 ,满足 下 式 。 











0 -0,=kn (4.34) 
很 显然 ，cos(0 -0)=+1， 并 且 存 在 一 个 二 进 制 向 量 xXe {-1,1}" 
满足 


cos(@ — -0,) =X, sė] 


当 围绕 2 的 每 个 分 量 均匀 旋转 ，.7(2) 将 保持 不 变 ， 即 对 任何 标量 
tT, f@=f(O+te). 同时，f(9) 对 于 每 个 8 呈 周 期 性 ， 周 期 为 2r 。 

若 为 均匀 旋转 和 周期 性 建 模 ， 发 现在 二 进 制 和 角 表 示 之 间 存 在 明 
显 的 一 一 映射 关系 。 


~ |0 ,t=+l 
a-| ki (4.35) 


由 于 对 于 任何 满足 式 (4.34) 的 5 有 sin(6 -6,)=0， 可 直接 从 式 
(4.31) 得 出 g(0)=0， 即 9 为 f(9) 的 一 个 驻 点 。 

这 样 ， 需 要 解决 的 问题 就 转换 为 最 大 图 割 问题 。 为 了 得 到 近似 优 
化 解 ， 首 先 极 小 化 7(28) ， 得 到 一 个 局 部 极 小 值 6 ， 相 当 于 点 在 单位 贺 
上 的 一 种 分 布 。 利 用 f(9) 的 周期 性 ， 假 设 9es[02r] ， 且 
0 <o S-O, 
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= 








将 单位 圆 划 分 的 两 个 相等 部 分 的 任何 一 个 划分 都 对 应 一 个 图 割 。 
例如 ， 选 取 一 个 角 ws[0,z] ， 则 可 根据 下 式 进行 划分 。 








ik ,0 clæ,æa +n] 
x, = 


= (4.36) 
-1 ,6¢[a,a+n7] 


上 述 最 大 割 算法 总 结 如 表 4-3 所 示 。 设 当前 图 割 x 的 值 为 7” ， 输 
入 0， 输 出 r 。 
表 4-3 ”最 大 割 算法 
步骤 内 容 
1 令 w=0T=-ooi=l 
2 令 j 为 最 小 的 序号 ，09;>x ,j=j+1，0,,=27 
While æ <n 
(1) 根据 式 (4:36) 计 算 x ， 同 时 计算 x(x) 。 


(2) EQT 则 T=y(x), x =x. 
3) HO,<0,-n, Wa=0,i=i+1; 否则 a=0,-m,j=j+1 





a 小 返 回 结果 





上 述 角 扫描 方法 比 前 述 球面 法 更 高 效 , 基 于 单个 随机 法 向 分 裂 民 ” 
中 个 点 的 成 本 是 O(n*) 。 如 果 这 些 点 投影 到 一 个 平面 ， 并 且 一 个 最 
初 制 已 被 计算 出 来 ， 则 可 以 将 割 成 本 降低 为 O(n) 。 通 过 类 似 于 K-L 
算法 0 的 提炼 过 程 ， 可 获得 更 精确 的 估计 结果 。 使 用 K-L 算法 进行 
改良 是 一 个 局 部 搜索 过 程 ， 可 以 消除 少量 放 错 位 置 的 顶点 。 如 果 在 
50 次 连续 欠 代 中 没有 进展 ， 则 将 提早 结束 算法 049。 最 后 ， 返 
成 本 的 解 。 

图 4.6 描述 了 从 具有 双 折 又 歧义 性 法 向 的 纹理 畸变 实现 表面 重 
构 。 为 简化 纹理 提取 过 程 ， 使 用 正方 形 结构 的 纹理 元 素 。 
图 4.10 描述 了 球面 问题 的 重 构 。 其 中 ， 图 4.10(a) 的 球面 含有 89 
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第 4 章 离散 歧义 性 的 SFT 解决 方案 





个 纹理 元 素 ( 不 包含 遮挡 超过 50% 的 纹理 元 素 );， 图 4.10(b) 显 示 了 对 应 
的 法 向 ,一 定 程度 上 体现 了 球面 纹理 的 统计 特性 ， 图 4.10(c) 是 重 构 结 
果 ， 不 过 仅 显 示 了 前 视 纹理 的 重 构 结 果 。 





x 
(a) 纹理 图 





x 


(b) 法 向 
图 4.10 ”球面 纹理 重 构 
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(c) 重 构 结果 
图 4.10 球面 纹理 重 构 ( 续 ) 





图 4.11 演示 了 从 一 个 Lambertian 表面 的 一 对 合成 图 像 计算 
表面 。 原 图 为 立体 光 测 度 所 得 的 结果 ， 重 构 结 果 反 映 了 双 折 登 歧 义 性 
的 SFT 效果 。 





一 个 





cre 











司 





a 


(a) 原 图 





图 4.11 从 一 个 Lambertian 表面 的 一 对 合成 图 像 计 算出 一 个 表面 
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第 4 章 离散 歧义 性 的 SFT 解决 方案 








(b) 重 构 结果 


图 4.11 从 一 个 Lambertian 表面 的 一 对 合成 图 像 计 算出 一 个 表面 ( 续 ) 


4.4 AS RD Bi 


由 于 SFT 方法 是 严重 约束 不 足 问 题 , 一 般 的 假定 约束 只 能 用 于 某 
些 特 定 领域 或 解决 某 个 特定 问题 。 尤 其 当 表 面 纹理 图 案 存 在 严重 歧义 
时 ,常规 SFT 方法 将 导致 多 重 歧义 解 ， 对 解 的 合理 选取 及 表面 积分 都 
造成 极 大 的 计算 负担 。 本 章 主 要 研究 了 二 进 制 歧义 性 问题 ， 以 双 折 悉 
歧义 性 为 例 ， 提 出 将 由 纹理 畸变 线索 判断 表面 平滑 性 的 双 折 县 歧义 性 
问题 归结 为 一 个 离散 判定 问题 ， 将 表面 表示 为 一 个 张 量 积 基 函 数 的 线 
性 组 合 ， 再 用 离散 变量 描述 该 歧义 性 约束 ， 进 而 定义 一 个 二 次 目标 函 
数 来 度量 表面 平滑 度 和 约束 满足 度 ， 通 过 消除 连续 变量 产生 一 个 仅 含 
离散 变量 的 二 次 目标 函数 ， 再 使 用 SDP 凸 松弛 法 ,将 离散 变量 嵌入 一 





































































































全 


个 连续 高 维 空间 ， 通 过 基于 分 裂 惯 性 和 
量 归 约 到 一 个 低 维 空间 ， 最 后 通过 最 大 制 
方案 比 传 统 的 椭 球 法 高 效 且 成 本 低 (O(n*) )， 可 进一步 使 


改良 


124 


计算 机 视觉 一 一 基于 图 像 的 3D 重 构 























局 部 搜索 过 程 ， 消 除 错误 割 点 ， 有 效 提高 解 

















的 精确 度 。 


扫描 的 圆 整 化 算法 将 离散 变 
算法 获得 较 理想 


的 解 。 上 述 
K-L 算法 


第 5 章 
基于 共 平 面 线性 
约束 的 表面 重 构 


© 计算 机 视觉 一 -基于 图 像 的 3D EH 


共 平 面 性 是 2D 图 像 中 几何 元 素 的 一 种 重要 特征 ， 包 括 平 行 性 和 
共 线 性 。 基 于 共 平 面 性 的 3D 重 构 不 同 于 前 面 介 绍 的 基于 纹理 畸变 
(SFT) 和 明暗 渐变 性 (SFS) 的 重 构 策略 ， 属 于 纯粹 的 几何 学 范畴 ， 常 用 
于 图 像 分 析 与 识别 。 本 章 着 重 介绍 其 在 3D 表面 重 构 中 的 应 用 原理 及 














具体 的 实现 技术 。 





基于 单 图 像 的 3D 表面 重 构 由 于 其 严重 的 病态 性 ， 需 要 附加 特 
殊 的 假定 条 件 。 例 如 ， 假 设 表 面 曲线 是 平坦 的 ， 或 者 位 于 多 面体 的 
坦 削 面 ， 或 者 位 于 多 面体 的 某 个 平 坦 横 截面 ， 如 图 5.1 和 图 5.2 














Jey 





削 面 : 纯 平 表面 





图 5.1 平坦 削 面 
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$58 ”基于 共 平 面 线性 约束 的 表面 重 构 








(a) 特殊 模 截面 (点 ) 。”(b) 特殊 模 截面 ( 线 ) (c) 圆 面 





(d) 圆 面 (e) 三 角 面 
图 5.2 几何 横 截面 
共 平面 性 由 于 其 特殊 的 几何 性 质 被 广泛 应 用 于 距离 遥测 、 摄 影 测 
量 、 心 理学 、 辅 助 医疗 等 领域 。 下 面 先 简单 回顾 一 下 平面 性 的 基本 原 
理 及 基本 的 约束 模式 。 























A 








5.1.1 平面 性 


所 谓 图 形 的 平面 性 ， 是 指 从 任何 角度 观察 ， 该 图 形 都 可 以 被 绘制 
在 一 个 平面 上 , 且 图 形 边缘 除了 顶点 之 外 没有 其 他 的 交叉 点 , 如 图 5.3 
所 示 。 
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(a) 平面 性 (b) 非 平面 性 
53 图形 的 平面 性 与 非 平 面 性 








对 于 人 类 视觉 感知 的 研究 表明 号 5 ， 人 类 视觉 系统 通常 使 用 平 
面 性 假设 ， 平 面 性 甚 全 可 以 替代 立体 视觉 的 深度 信息 用 于 感知 三 维 场 
景 C"0。 事 实 上 ,真实 环境 中 的 平坦 曲线 十 分 普遍 ,尤其 在 人 造 环境 中 
是 普遍 存在 ， 如 建筑 物 、 道 路 等 。 但 是 ， 平 坦 曲线 在 自然 界 中 却 特 
别 少见 ， 不 过 ， 地 平面 或 平静 的 水 面 等 也 可 看 成 是 平坦 的 。 另 外 ， 空 
间 物 体 的 运动 轨迹 也 大 都 呈现 近似 平坦 的 。 
在 计算 机 视觉 领域 ， 最 早 使 用 平面 性 约束 的 是 Roberts, PUK 
这 种 特殊 的 几何 性 质 用 于 基于 图 像 的 3D 表面 重 构 研 究 中 。 图 5.4 
述 了 基于 平面 性 的 表面 重 构 的 基本 原理 。 
从 图 5.4 可 见 ，Roberts 主要 针对 已 知 形状 的 多 面体 对 象 。 由 于 多 
面体 中 平坦 削 面 的 交叉 线 在 投影 图 像 上 生成 直 边 缘 ， 相 对 易于 检测 ， 
从 而 将 3D 表面 的 重 构 问 题 归 结 为 从 线 画图 构造 一 种 3D 描述 。 
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计算 机 视觉 一 一 基于 图 像 的 3D 重 构 


之 后 Guzman 1 试图 解决 未 知 对 象 的 识别 问题 ,为 此 定义 了 顶点 
的 不 同类 型 ， 如 图 5.5 所 示 。 


(a) L-junction 


ANS AA 


(b) Arrow-junction 


FF 


(c) Fork-junction 


ee ee en 


(d) T-junction 
图 5.5 Guzman 定义 的 顶点 类 型 
在 图 5.5 中 ,“+” 表 示 凸 边缘 ,“-” 表 示 目 边缘， 实际 效果 如 
3] 5.6 所 示 。 
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图 5.6” 凸 边缘 与 叫 边 缘 











如 图 5.7 所 示 ，L-junction 和 Arrow-junction 类 型 的 顶点 是 指 对 象 

中 遮挡 了 一 个 背景 面 的 拐角 点 ; 而 Fork-junction 类 型 没有 遮挡 背景 面 ， 

-个 对 象 的 被 遮挡 的 轮廓 与 被 谈 挡 的 对 象 的 轮廓 形成 T-junction 类 型 
的 顶点 。 





T-junction 






Arrow-junction 


\ 


———L -junction 


Fork-junction 


图 5.7 不 同类 型 的 顶点 示例 
Guzman 指出 ， 如 果 所 有 边缘 属于 单个 3D 物体 对 象 ， 那 么 ， 某 种 
类 型 的 顶点 不 能 仅 由 某 一 条 边缘 链接 ， 并 用 Penrose 多 边 形 等 不 可 能 
的 光 幻 觉 图 形 进 行 了 测试 ， 如 图 5.8 所 示 。 
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AQ 


(a) 三 角形 (b) 正方 形 
(o) 五 边 形 (d) 六 边 形 
(e) 八 边 形 


图 5.8 Penrose 多 边 形 
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Huffmant Fl Clowes050 分 别 独 自 研 究 了 三 面 顶点 的 某 些 更 荒 廖 
的 组 合 构 型 ， 如 图 5.9 所 示 。 


A 4 
Q9© 


59 三 面 顶 点 的 特殊 构 型 


























他 们 采用 所 谓 的 Huffman-Clowes 标签 , 将 每 个 边缘 标记 为 凸 、 四 
或 遮挡 等 三 种 形态 ， 如 图 5.10 所 示 。 


出 (边缘 标记 ) 








遮挡 (边缘 标记 ) 


“>>> u (边缘 标记 ) 





图 5.10 Huffman-Clowes 标签 
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这 样 一 来 ， 一 个 顶点 链表 就 包含 了 交汇 于 该 有 效 三 面 顶点 的 边缘 
的 标签 ， 从 而 将 判断 一 个 线 画 图 能 否 被 3D 识别 的 问题 转化 为 对 每 个 
边缘 分 配 一 个 标签 。 尽 管 标签 问题 是 一 个 经 典 的 NP- 难 题 050,， 但 根据 
Waltz 的 研究 路 ， 围 绕 一 个 顶点 分 配 标签 后 ， 邻 域 顶点 的 数目 大 大 减 
少 了 ， 就 可 使 用 其 他 的 优化 方法 加 以 台 近 求解 。 

Malik053 将 上 述 线 标签 模式 扩展 到 曲面 研究 ， 而 Varley 5 将 顶点 
链表 扩展 到 四 面 项 点 ， 如 图 5.11 所 示 。 






































图 5.11 四 面 顶点 的 特殊 构 型 

直线 标签 存在 尚 无 定论 的 理论 及 技术 问题 。 首 先 ， 根 据 直线 标签 
不 能 直接 获得 3D 表面 ; 其 次 ， 四 面 项 点 的 理想 标签 的 平均 数目 对 于 
顶点 数目 呈 指 数 级 增长 1, 因此 直线 标签 不 足以 描述 3D 形状 ; 第 三 ， 
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一 个 理想 标签 是 3D 重 构 的 必须 但 非 充分 的 条 件 ， 因 为 存在 一 些 虚 假 
的 线 画 图 ， 不 能 识别 为 有 效 的 3D 对 象 。 

















5.1.2 ” 共 平面 性 


由 于 直线 标签 的 线 画 图 重 构 具 有 许多 未 完全 解决 的 理论 和 技术 
问题 ，Sugiharat* 提 出 在 此 基础 上 增加 代数 结构 的 共 平 面 性 约束 条 
件 。 所 谓 3D 空间 中 的 一 个 点 集 是 共 平面 的 ， 是 指 所 有 这 些 点 位 于 
同一 个 几何 平面 。 例 如 ，3 个 点 必定 是 共 平 面 的 ， 而 4 个 以 上 的 点 
可 能 位 于 不 同 的 平面 ， 则 是 非 共 平面 的 。 

样 ，3D 空间 中 的 两 条 直线 如 果 平行 或 交叉 ， 则 也 是 共 平面 的 ， 
如 图 5.12 所 示 。 


人 AL 



























































可 


(a) 散乱 的 共 平面 点 (b) 排 成 线 的 共 平 面 点 
(c) 平行 的 共 平 面 直线 (d) 交叉 的 共 平 面 直线 
(e) 圆 形 共 平面 (O 多 边 形 共 平 面 








5.12” 共 平面 性 
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Sugihara 同时 指出 ， 这 是 将 一 个 线 画图 识别 为 一 个 3D 多 面体 的 充 
要 条 件 ， 而 Falk 实际 构造 了 一 个 共 平 面 性 约束 的 线性 系统 ， 但 未 从 


数学 上 根本 解决 问题 。 








共 平 面 性 蕴含 了 点 的 共 线 性 和 线 的 平行 性 , 如 图 5.12(b)、 图 5. 


12(c) 


所 示 。 一 般 地 ， 图 像 中 的 平行 线 既 可 能 是 3D 平行 线 的 投影 (在 正 投影 





下 )， 也 可 能 是 共 平 面 3D 线 的 投影 (透视 投影 下 )。 同 样 ， 图 像 中 
似 共 线 点 可 以 假设 为 3D 空间 的 共 面 点 。 之 所 以 强调 这 一 点 ， 是 
自然 界 中 的 共 线 性 与 平行 线 情况 比 平坦 表面 更 为 普遍 。 





的 近 








因为 








Rothwell 等 人 058559260 提 出 多 面体 笼子 的 比喻 , 即将 一 个 3D 对 象 


用 一 个 虚拟 多 面体 环线， 如 图 5.13 所 示 。 








(a) 虚拟 多 面体 (b) 对 象 嵌 入 虚拟 多 面体 





图 5.13 多 面体 笼子 
这 个 虚拟 多 面体 的 顶点 不 需要 贴 附 在 所 环绕 对 象 的 表面 上 ， 


但 要 











于 位 








确保 可 从 该 对 象 表面 的 图 像 中 计算 出 虚拟 多 面体 的 顶点 坐标 。 

















于 多 面体 顶点 的 点 集 的 投影 呈 视 角 不 变性 ( 称 为 视 常 量 )， 因 此 一 旦 虚 














拟 多 面体 的 顶点 被 识别 出 来 ， 就 可 以 计算 出 一 个 视 常 量 ， 再 通过 查询 











一 个 预 设 的 形状 数据 库 轻 易 地 识别 出 对 象 的 类 别 1。 
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但 是 ，Burns 等 人 研究 指出 0 中， 并 非 对 于 任意 大 小 的 点 集 都 存在 
一 个 视 常 量 。 不 过 ， 这 并 不 意味 着 对 于 某 些 特殊 的 点 集 构 型 也 不 存在 
视角 无 关 。 存 在 视 常量 的 条 件 研究 得 最 多 的 是 共 平面 性 5" 。 

在 正 投影 情况 下 ， 对 于 4 个 共 平 面 点 存在 视 常量 ， 而 对 于 透视 投 
影 ，5 个 共 平 面 点 存在 视 常量 。 事 实 上 ， 这 些 视 常量 仅 对 4 个 以 上 的 
共 平 面 点 才 有 意义 ， 因 为 三 个 点 是 自然 的 共 平面 性 ， 而 一 个 “多 面体 
笼子 ”必然 存在 部 分 至 少 含有 4 个 顶点 的 削 面 。 在 这 样 的 削 面 上 ， 可 
以 定义 仿 射 不 变量 。 而 在 两 个 交叉 平面 上 ， 可 以 定义 透视 不 变量 。 




















5.1.3 平坦 模 截面 


另 一 种 用 于 分 析 多 面体 的 是 平坦 横 截面 : 具有 平坦 横 截 面 的 对 象 
很 普遍 ， 如 回转 曲面 (Surfaces Of Revolution, SOR), ELIA). OBE 
面 (Straight Homogeneous Generalized Cylinders, SHGC)05, 如 图 5.14 
所 示 。 




















(a) 回转 曲面 ， 由 一 条 曲线 绕 一 个 轴线 圆周 旋转 而 成 


5.14 ”平坦 横 截 面 示例 
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(b) 直 同 构 广义 柱 面 ; 有 一 条 直线 轴 ， 横 截面 形状 疯 定 ， 但 尺寸 大 小 可 变 
图 5.14 平坦 模 截面 示例 ( 续 ) 
基于 激光 扫描 的 分 析 系 统 就 是 典型 的 模 截面 分 析 例 子 。 图 5.15 描 
述 了 完全 未 标定 结构 光 的 成 像 及 重 构 效果 。 





(a) 3D 手 型 (b) 激光 扫描 


图 5.15 基于 未 标定 结构 光 的 3D 重 构 
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(c) 计算 得 到 的 3D 表面 


图 5.15 基于 未 标定 结构 光 的 3D 重 构 ( 续 ) 
在 图 5.15 中 , 通过 若干 个 样 条 激光 扫描 手腕 , 相当 于 做 横 切 操作 ， 
得 到 一 系列 横 截 面 ， 其 中 的 图 像 曲线 就 是 横 截面 的 投影 。 根 据 横 截 面 
图 像 可 计算 出 3D 表面 ， 而 不 需要 平面 的 其 他 任何 约束 信息 。 




















5.1.4” 共 平面 约束 


共 平 面 性 关系 可 用 于 计算 机 视觉 领域 的 很 多 实际 应 用 中 ， 迄 今 已 
涌现 出 很 多 基于 共 平 面 约束 的 分 析 模 式 。 在 无 噪声 情况 下 ， 这 些 模式 
在 数学 上 是 等 价 的 ， 但 在 计算 代价 上 却 是 各 有 千秋 。 

最 早 由 Sugihara! 提出 的 约束 模式 包含 了 所 有 的 自由 变量 ， 即 





P= (days bpe bydi dvi) (5.1) 


EEEF, AREA k=0ON AZLA, (AM EIN AE 
数 来 表示 平面 。 

Lipson 等 人 ("59 通过 平面 拟 合 来 构造 共 平 面 约 束 ， 得 到 m 个 共 平 
面 点 的 深度 z=(z,…,z,,) 上 的 线性 约束 。 由 于 对 于 共 平 面 点 ， 存 在 
a,b,d ， 满 足 
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=] i =z (5.2) 
Zm 
“nl 
P=|: :|: (5.3) 
Xn Ym 1 
a 
P*z=|b (5.4) 
d 


(I- PP*)z=0 (5.5) 


则 有 














Wh, Piè P 的 伪 逆 。 如果 构造 5S, = -PP*), RHP AAs 
每 个 平坦 削 面 的 点 。 再 用 0 填 满 这 些 矩 了 泗 ， 则 下 面 的 矩阵 



































描述 了 所 有 共 平 面 性 约束 ， 即 Sc =0， 其 中 z=(z,…,z,)”。 在 这 
HERF, AGERE S 的 大 小 为 O(k xk) ， 而 且 较 稠密 。 

Sparr!'®71 #11 Heyden0% 等 人 相继 提出 共 面 点 深度 的 稀 疏 约束 , 使 
质心 表示 。 对 于 每 个 平坦 削 面 ， 选 择 3 个 非 共 线 点 y) y) 
(w, 力 ) 作 为 一 个 基 . 该 前 面 上 图 像 坐标 为 (x,,y) 的 任何 其 他 点 可 表示 
为 式 (5.6)。 
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CCE) e 


经 重新 整理 ， 得 到 


Ci +G +G +G = (5.7) 
X ) V3 Y4 0 


其 中 ，c +c +cy+cl=0。 
上 述 质心 对 于 仿 射 变 换 保 持 恒定 不 变 。 平面 上 所 有 点 的 约束 收集 
在 一 起 构成 矩阵 S$， 满足 Sz =0。 








5.2 ”基于 共 平 面 性 的 线性 约束 系统 


假设 一 个 表面 尺 上 含有 N 个 平坦 曲线 局 ,ITw DIRANA 
平面 五 ,…,zv 上 上。 每 条 曲线 T, 含 有 平面 x, 上 的 一 个 点 集 ， 换 句 话 说 ， 
线 T, 是 一 组 共 平 面 点 。 现在 假设 在 正 投影 下 得 到 一 幅 图 像 ， 从 两 条 
线 T,,T, 在 像 平 面 上 的 投影 图 像 上 识别 出 Kk 个 交叉 点 aV) > 
如 图 5.16 所 示 。 
如 果 能 识别 出 图 像 点 (x;,y) 进而 求 出 交叉 曲线 T,,T; ， 就 可 以 恢 
复 对 应 的 平面 ,x;。 需 要 说 明 的 是 ， 两 条 曲线 T,,T, 可 能 在 图 像 中 不 
相交 ， 也 可 能 交叉 多 次 。 如 果 两 条 曲线 共享 一 个 直线 段 ， 则 将 直线 段 
的 两 个 端点 作为 交叉 点 。 当 两 条 以 上 的 曲线 交 于 一 点 ， 需 要 按 一 种 次 
序 轮流 考察 其 中 的 每 一 对 曲线 。 
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(a) 平面 与 表面 相交 产生 册 线 











(c) 曲线 的 正 投影 图 像 


图 5.16 3D 空间 交叉 平坦 曲线 及 其 投影 
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5.2.1 ”构造 线性 系统 























当 平 面 不 平行 于 投影 方向 ， 则 可 表示 为 一 个 线性 方程 。 


z(x,y) =ax+by+d, (5.8) 











其中 z 相当 于 平面 二 上 某 点 (x,y) 处 的 深度 信息 。 在 正 投 影 下 ， 
图 像 中 的 一 个 2D 交叉 点 m(x,,y,) ， 相 当 于 表面 上 的 一 个 3D 交叉 点 ， 
其 对 应 的 X,Y 坐标 等 效 于 (x,,y,) ， 这 样 该 3D 点 在 对 应 的 两 个 平面 
zt 上 的 Z 轴 方向 的 坐标 之 差 即 为 该 3D 点 的 深度 差 ， 即 




















2) Ny) — 2; Qt) = (a, — ax; +B, -b,)y; +(d,-d,) (5.9) 


由 于 该 3D 点 是 两 个 平面 与 表面 相交 而 形成 的 曲线 的 交点 ， 所 以 
有 
2,(%) Yj) AZ, Oyy) =0 (5.10) 





实质 上 , PH 2,2, 在 空间 交叉 于 一 条 3D 直线 ,该 相交 线 在 像 平 
面 上 的 投影 也 为 直线 ， 定 义 为 L, ， 满 足下 述 方程 。 
































(a,-a,)x +(b, —b, y+ (d,-d,)=0 (5.11) 





因此 , 根据 式 (5.9)、 式 (5.10) 和 式 (5.11), 意味 着 投影 点 yy) 位 
TARL E 





考察 所 有 可 见 的 交叉 点 ,将 对 应 的 式 (5.10) 方 程 组 成 一 个 线性 方程 

组 ， 即 
Av=0 (5.12) 
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此 中 ,向量 v= (aay bby didy) 为 相交 平面 秘 的 参数 
向 量 ， 一 个 定义 了 表面 曲线 的 集合 tr,} 4 是 一 个 由 5 个 元 素 
Xp xp Yp Yp L-IR M x NRE, Me 表示 曲线 交点 的 


数目 。 

类 似 地 ， 对 于 透视 投影 情况 ， 具 有 类 似 的 线性 系统 结构 。 若 设 焦 
HAS, AR xy 与 世界 坐标 X7 之 间 的 关系 为 
x= (X/Z,y=fV/Z. RFH r, RHR, WE 















































a,X +bY +¢,Z(X,Y)= (全 {多 tjzonn- 1 (5.13) 





再 根据 一 对 曲线 的 相交 关系 ,产生 如 下 类 似 于 式 (5.10) 的 线性 
方程 。 




















L ait auy bb W, 
ZA Z aY) £ f 





+(c,-¢,)=0 


(5.14) 


T 





对 所 有 可 见 的 交叉 点 , 组 合 多 个 式 (5.14) 方 程 , 构成 如 下 类 似 于 式 
(5.12) 的 线性 方程 。 
A,v,=0 (5.15) 


























Heh, A, 由 将 A ROMER TCR x,y, 除 以 而 得 到 。 
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5.2.2 平凡 解 子 空间 


根据 前 面 的 分 析 ， 由 于 v=(@,…,ay,B,…,by,qd1,…,dv) ， 因 此 系 
统 最 多 含有 3N 个 变量 。 正 投影 情况 下 , 一 组 真实 平面 构成 的 向 量 v 必 
然 是 式 (5.12) 的 一 个 解 ， 并 且 存 在 于 Null(4) 中 。 需 要 注意 的 是 ， 
Null(4) 也 可 能 包含 某 些 平凡 解 。 例 如 ， 当 所 有 曲线 同时 被 嵌入 同一 
个 平面 时 ， 就 产生 一 个 平凡 解 。 另 外 ， 通 过 观察 可 见 ， 式 (5.10) 具 有 一 
PERFETTE, RIRH Spang vn JEP, 





















































i 





v, vty)" v. Orly, 0y)" v. _ (0v,Lv 
YN 22 NN °° VN 


(5.16) 


式 (5.16) 中 ，1、、0、、0,, 分 别 表示 元 素 值 为 1、0 的 -向 量 和 
0 2N = 

这 样 ， 对 于 式 (5.12) 的 任 一 个 非 纯 平 解 v» ， 存 在 歧义 解 ， 即 
vv vn 的 任 一 个 线性 组 合 z= wy+owm+osm+aiw 也 是 式 (5.12) 的 
一 个 解 。 这 就 是 广义 浅 浮雕 (Generalized Bas-Relief, GBR) 歧 义 性 0691。 
图 5.17 显示 了 人 脸 浅 浮雕 "的 歧义 性 实例 。 
图 5.17 可 见 ， 即 使 改变 了 光照 方向 和 浮雕 参数 ， 得 到 的 正视 图 
效果 几乎 无 差异 。 

GBR 给 人 的 直观 感觉 是 , 为 表面 上 所 有 点 增加 一 个 平面 , 或 者 将 
深度 乘 以 一 个 常量 ， 以 维持 共 平面 关系 ， 但 观察 者 看 不 见 。 
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(a) 正视 图 (b) 近似 正视 图 


O) 浅 浮雕 变换 及 光照 方向 变化 


图 5.17 GBR 歧义 性 
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在 透视 投影 下 ， 存 在 广义 透视 浅 浮 雕 (Generalized Perspective 
Bas-Relief，GPBR) 歧 义 性 ， 如 图 5.18 所 示 。 








<A | 
i > 
ASI 
(a) 不 同 视 点 的 原始 场景 图 像 (b) GPBR 结果 


图 5.18 GPBR 歧义 性 
浅 浮雕 歧义 性 在 一 些 未 标定 深度 的 环境 中 很 普通 ， 如 明暗 感知 、 
光度 测定 立体 ， 以 及 基于 两 视图 的 仿 射 重 构 5 等。Koenderink 指 
出 65， 不 同 的 观察 者 对 同一 张 图 片 的 3D 感知 是 不 同 的 ， 其 原因 就 是 
正 投影 的 浅 浮 驹 歧义 性 。 
从 投影 几何 变换 角度 来 说 ，GBR 和 GPBR 是 3D 空间 一 种 特殊 的 
仿 射 和 射影 变换 。GBR 变换 可 以 写 为 式 (5.17)。 
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x 1 0 O\(x 0 
y'= 1 O| y|+|0 (5.17) 
Zt a b c 八 z d 
而 GPBR 可 以 写成 式 (5.18) 的 齐 次 坐标 变换 形式 。 
> 1 0 0\( xX 
y 0 1 oj Y 
= (5.18) 
Zz 001 0 Z 
w' a b c dj\t 














为 了 理解 GPBR 如 何 作用 于 平面 ， 考 察 平面 aX+hY+cZ=1 上 
的 点 P=(X),%,Z)" ， 该 点 的 齐 次 坐标 为 (X,%,20,1)" = 
(XoY Zoa X, +bY, +Z)". 根据 式 (5.18)， 得 到 
































X') (EW Y 0 K 
y'| jo 1 0 0 Y, 
Z'||0 010 Ze 
w' abe d)\aX,+hY,+eZ, 
Xo 
Y 
= $ (5.19) 
Zo 
(a+ad)X, +(b+bd)Y, +(c+cd)Z, 
mews, WACKY ZW E FRE. 
(a+ad)X +(b+bd)¥ +(c+¢d)Z=1 (5.20) 





这 样 ， 在 GPBR 变换 下 ， 式 (5.12) 的 某 个 解 可 表示 为 式 (5.21) 的 线 
性 组 合 。 
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1=aVNw + bVNv, +cVNw + dv (5.21) 





类 似 的 研究 工作 还 有 很 多 ， 如 Sugihara 等 059 主 要 研究 多 面 物 体 











的 平坦 削 面 ,而 有 文献 Cs 指出 ， 基于 平坦 横 截面 的 线性 系统 主要 用 于 
结构 光 和 直 同 构 广 义 柱 面 。 需 要 指出 的 是 ， 一 个 SHGC 的 平坦 横 截 
面 可 不 必 在 图 像 中 可 见 。 某 些 情况 下 ， 横 截面 可 根据 轮廓 线 估计 出 











KA, 

















m 






































5.3 “无 噪 系统 的 非 平 凡 解 





在 5.2 节 讨 论 了 基于 共 平 面 性 约束 而 构成 的 线性 系统 的 平凡 解 子 
空间 。 下 面 ， 再 考察 该 系统 的 非 平凡 解 子 空间 。 在 无 噪 的 理想 情况 下 ， 
式 (5.12) 存 在 一 个 四 维 解 空间 ， 即 含有 4 个 线性 无 关 解 ， 其 中 的 3 维 
vonn HT GBR 歧义 性 ， 而 第 4 维 v 来 自 于 真实 的 形状 。 根 据 前 





























定理 5.1( 自 











面 的 分 析 , 式 (5.12) 解 空间 的 维 数 依赖 于 观察 到 的 曲线 交叉 的 样式 , 部 
分 不 相交 的 曲线 导致 了 更 多 的 自由 度 。 





由 度 下 限 ) 














设 刀 为 一 个 标签 化 的 线 画 图 ，8 是 由 DD 表 示 的 一 个 空间 结构 。 如 
果 5 与 D 一 起 描述 了 一 个 多 面体 ， 且 S 具有 两 个 以 上 的 前 面 ， 那 么 ， 
根据 8 和 刀 来 确定 的 一 个 多 面体 至 少 具 有 4 个 以 上 的 自由 度 。 


证 明 : 
令 P 为 构成 















































HS 和 D 表 示 的 多 面体 的 3D 点 集 ，P' 为 通过 下 述 放 





射 变换 得 到 的 所 有 的 点 集 。 
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x| [1 0 ofz] 
y'|=|0 1 0llyl+|0 
z a Bp yjz] [8 
EH, a,b, 是 任 一 个 实数 , 而 y 是 了 
要 变换 的 点 。 
缘 和 前 面 ， 因 





























E 实 数 ， A (x,y,z) Æ P EW 
于 是 仿 射 变换 ，P 中 的 边缘 和 前 面 分 别 变换 为 P' 的 边 
Et，P' 也 是 一 个 多 面体 。P' 和 PP 一样 拥有 S 和 D， 因 


(5.22) 














为 , 仿 射 变换 不 改变 原始 点 的 x,y 坐标 ， 并 且 式 (5.22) 的 系数 矩阵 的 行 








列 式 是 正 的 (因为 y>0)， 所 以 ， 该 变换 不 改变 空间 位 置 ， 也 就 是 说 ， 
前 面 的 外 法 向 从 不 会 倒置 。 这 样 一 来 ; P' 也 是 由 S 和 表示 的 一 个 多 





























面体 。 

















式 (5.22) 的 变换 具有 4 个 参数 ;如 果 P 上 的 4 个 非 共 面 点 的 对 应 变 


换 点 能 被 确定 ， 则 又 唯一 确定 这 4 个 参数 值 。 

















由 于 多 面体 含有 两 个 














以 上 的 前 面 ， 总 是 可 以 选取 4 个 非 共 面 点 。 因 此 ， 如 果 希 望 从 S 和 D 
































Rothwell 等 人 (3 验证 了 含有 4 个 以 上 自 
体 情况 。 特 殊 的 情况 是 ， 如 果 


口 








图 像 是 一 个 三 角 


重建 多 面体 ， 可 以 任意 选择 至 少 4 个 顶点 的 z 值 。 























度 但 交叉 较 少 的 多 


























网 格 ， 可 以 将 顶点 放 


置 到 任意 深度 中 。 但 是 ， 对 于 高 连通 曲线 网 络 ， 系 统 将 表现 为 典型 的 














超 定 ， 即 方程 组 中 方程 的 个 数 大 于 未 知 变量 的 数量 ， 无 法 完全 满足 给 


定 条 件 ， 此 时 只 能 得 到 一 


个 最 接近 解 。 例 如 ， 在 一 个 结构 光 情境 中 ， 





得 到 O(N”) 方 程 ， 含有 3NN 个 未 知 数 。 尽 管 极端 罕见 ， 但 仍然 存在 一 


种 高 连通 系统 ， 


空间 的 维 数 大 于 


FLA O(N?) 422M, A 


T 
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下 面 使 用 几何 方法 来 人 工 构造 一 个 含有 O(N”) 个 交叉 点 ， 但 具有 
一 个 2D 非 平凡 解 子 空间 的 系统 。 构 造 过 程 如 下 。 
Sm m 为 两 个 含有 N 个 平面 的 集合 。 对 于 每 个 平面 集合 ， 
将 每 一 对 平面 交叉 ， 并 寻找 交叉 线 在 图 像 中 的 投影 [参见 式 (5.11D)]。 
每 个 平面 集合 的 这 些 交 叉 线 的 投影 图 像 线 的 集合 分 别 定义 为 {DL}、 
{Ly} o BRA Ly Ly 的 交叉 点 为 (x;,y;)。 通 过 上 述 构 造 过 程 ， 显 然 
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“ip? 


5.4 PUA SENSE AL ie 








平面 集合 {rl} 、{z?} 就 是 这 些 交 叉 点 (x,,y,) 所 形成 的 方程 组 的 解 。 
不 过 具有 三 维 非 平凡 子 空间 的 系统 更 加 罕见 ， 因 
局 ,局 必须 交 于 一 点 ， 或 者 两 条 线 重合 


为 每 组 交叉 线 


实际 应 用 中 噪声 是 普遍 存在 的 。Sugihara059 指 出 , 在 含 噪 情况 下 ， 
线性 系统 是 典型 的 超 定 ， 没 有 精确 的 非 平凡 解 ， 只 有 逼 近 解 。 处 理 这 


类 超 严格 问题 ， 有 两 种 方法 。 





第 一 种 方法 是 假设 空间 曲线 是 严格 平坦 ( 称 为 纯 了 





FE) 的 ， 所 以 ， 交 


叉 点 在 图 像 中 的 投影 点 的 位 置 的 测量 值 一 般 需 要 被 矫正 ， 即 测量 值 不 





可 能 精确 ， 均 需要 矫正 到 一 个 对 应 的 弓 
线 画 图 D，J=(V,F,R) 是 其 对 应 的 关 














平面 内 。 假 设 一 个 已 标签 化 的 














联结 构 ， 其 中 V,F 为 互 不 相交 





的 有 限 点 集 ，R 为 序 偶 集合 VxF 的 


个 子 集 ， 表 示 














如 果 (v,f)e R， 表 示 “ 顶 点 v 位 于 削 





个 弧 线 集合 。 














if 之 上 ”或 “前 面 含有 项 点 











v ” 令 R* 为 R 的 最 大 子 集 。 表 5-1 描述 了 顶点 的 矫正 算法 , 输入 : D, 


T=(V,F,R)。 输 出 : 矫正 的 线 画 图 。 
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表 5-1 项 点 位 置 矫正 算法 














步骤 内 容 

1 寻找 R 的 最 大 子 集 R*， 构 造 T=(V,F,R*) 

2 | 求解 类 似 式 (5.12) 的 ap = 0 ， 如 果 无 解 ， 返 回 FALSE 

3 | 寻找 V(R-R*) 中 的 顶点 的 正确 的 空间 位 置 ， 作 为 表面 的 交叉 点 

4 | 将 这 些 矫正 后 的 空间 位 置 投影 到 像 平面 
观察 矫正 后 的 图 像 是 否 服从 既定 标签 规则 ， 若 服从 ,返回 TRUE; 否则 

a 返回 FALSE 

i 采用 矫正 点 重新 构成 式 (5.12)， 若 v 满足 新 的 方程 系统 , 返回 校正 后 的 
图 





象 ， 否 则 返回 FALSE 





图 5.19 是 一 个 矫正 处 理 的 实例 。 


(a) 非 正确 图 像 





图 5.19 矫正 处 理 


第 5 章 ， 基 于 共 平面 线性 约束 的 表面 重 构 )) 


\ 





(b) 图 (a) 的 重 构 结构 


(© 矫正 后 的 重 构 结果 
图 5.19 矫正 处 理 ( 续 ) 


目前 的 很 多 方法 都 属于 这 类 范畴 。Sugihara 等 人 通过 寻找 方程 组 


的 一 个 子 集 ， 精 简 这 些 方程 结构 ， 确 保 即 使 交点 存在 微小 
统 仍然 有 解 。 但 是 ，Sugihara 的 方法 不 能 均衡 地 传播 误差 。 





FH 


Shimshoni 

















等 人 [进而 提出 线性 规划 松弛 法 ,提供 了 一 个 用 于 曲线 非 








凡 解 识别 


的 必要 但 非 充 分 的 条 件 。 而 Ros 等 人 则 研究 了 非 线性 优化 算法 ， 




















于 对 所 有 精确 解 的 一 种 特殊 的 参数 化 方法 ， 即 根据 顶点 和 前 面 的 一 














— 


排序 ， 寻 求 一 种 途径 来 在 3D 空间 依次 放置 这 些 顶 点 和 前 
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Heyden! 首次 提出 一 种 针对 超 严格 问题 的 数学 方法 ， 即 对 方程 组 的 
任 一 个 不 相 容 子 集 ， 使 用 SVD 来 修改 系统 矩阵 。 

第 二 种 方法 是 从 完全 相反 的 角度 来 考虑 , 即 假设 交点 位 置 度量 
值 是 完全 正确 的 ， 也 就 是 说 式 (5.12) 中 的 4 是 固定 的 ， 而 作为 一 种 
折 中 处 理 ， 反 过 来 假设 曲线 是 非 严格 平坦 的 。 这 种 假设 也 许 更 符 
合 自然 界 的 实际 情况 。 这 种 方法 的 明显 优势 是 ， 可 采用 数值 线性 
代数 方法 。 相 比 之 下 ， 矫 正 线 画 图 的 方法 组 合 度 更 高 ， 而 且 通 常 
是 一 个 NP- 难 题 。 目 前 沿 着 这 个 方向 开展 研究 的 有 Grimstead0 7 引 、 


SturmP3、Bouguet07g 等 。 



























































5.4.1 平凡 子 空间 





平凡 子 空间 通常 指 零 空间 和 全 空间 自身 。 基 于 式 (5.16) 中 的 向 量 
mo, 人 可 能 并 不 能 生成 纯 平 解 的 整个 子 空间 ， 也 就 是 说 ， 可 能 还 有 
其 他 的 平凡 解 。 例 如 ， 当 某 条 曲线 与 其 他 曲线 的 交叉 点 排列 在 一 条 直 
线 上 ， 特 别 是 对 于 交叉 点 小 于 3 个 的 一 条 曲线 ， 将 发 生 这 种 情况 ， 因 
为 此 时 Span(v,v,,v,) 不 具 普 遍 性 ， 可 能 遗漏 解 空间 中 的 某 些 向 量 ， 如 


图 5.20 所 示 。 
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图 5.20 直 曲 线 





如 果 嵌 入 了 直 曲 线 的 那个 平面 不 平行 于 投影 方向 ， 则 该 直 曲 线 
对 应 一 条 3D 直线 。 但 需要 说 明 的 是 ， 零 高 斯 曲率 (Zero Gaussian 
Curvature，ZGC) 表 面 (中 是 一 种 特殊 的 表面 ， 其 中 也 包含 了 直线 ， 
不 属于 上 述 情况 ， 如 图 5.21 所 示 。 





(a) 负 高 斯 曲率 表面 





图 5.21 不 同 高 斯 曲率 的 表面 实例 
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(b) 零 高 斯 曲率 表面 











(c) 正高 斯 曲率 表面 
5.21 不 同 高 斯 曲率 的 表面 实例 ( 续 ) 
1， 度 量 表面 平坦 度 


























为 了 描述 纯 平 解 的 完备 空间 ， 需 要 度量 表面 的 平坦 度 。 有 很 多 方 
法 可 用 于 估计 表面 的 平坦 度 ， 最 常用 的 是 电子 水 准 仪 、 激 光 干 涉 仪 、 
自动 瞄准 仪 等 。 
在 数学 上 ， 若 考察 N 数 据点 的 平坦 度 ， 可 用 两 个 平行 平面 将 数据 
点 集 夹 在 中 间 , 求解 这 两 个 平面 之 间 的 距离 的 最 小 值 , 如 图 5.22 所 示 。 
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(a) 平坦 点 集 


(b) 非 平 坦 点 集 
图 5.22 平坦 度 示例 

比较 简单 的 方法 是 ， 采 用 线性 回归 法 根据 采集 的 有 代表 性 的 数据 
点 拟 合 出 一 个 平面 ， 并 度量 其 残 差 。 如 果 所 有 点 共 面 ， 则 残 差 为 0。 
将 采集 到 的 点 的 深度 描述 为 的 一 个 线性 函数 。 令 (x,,y,) 为 曲线 上 
个 点 的 集合 。 再 令 Z 为 一 个 矩阵 ， 用 于 反 投 影 这 些 点 到 它们 的 对 应 平 
面 。Z 的 行 在 适当 的 列 中 包含 x,y,1， 则 有 2Zy=(z…,z4)"， 其 中 
(z1,…,24) 就 是 平面 在 点 (x,y) 处 的 深度 信息 。 





a 
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EJERE CO 


_(U=PP')Z_Z-P(P'Z) 


Vk Vk 


y eI 
P= p;p p i 
% l 


PRR P 的 伪 逆 。 WA, (OPARE, yz) 在 2 方向 偏离 最 侍 


C 





(5.23) 






































拟 合 平面 的 偏差 的 范 数 的 均 方 值 。 这 种 线性 回归 的 残 差 等 价 于 求解 下 
述 的 最 小 二 乘 问题 。 
a 
mint Zv-P| b (5.24) 
d 

















44 (a,b,d)" = P*Zv ， 则 式 (5.24) 的 残 差 为 


tz- rr zw} =c} (5.25) 


2， 平 凡 子 空间 





定义 平凡 子 空间 为 C 的 零 空 间 ， 即 Null(C)= pe 大:Cy =0} 。 平 
凡 子 空间 的 所 有 向 量 相当 于 空间 的 共 面 点 集 (%,,y,,z,) ， 即 平凡 解 。 
于 非 共 线 的 三 点 确定 一 个 平面 ， 所 以 选择 这 个 共 面 存在 3 个 自由 度 ， 
但 是 ，Null(C) 的 维 数 可 能 比较 大 。 
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这 个 平凡 子 空间 的 选择 具有 较 大 的 自由 度 ， 但 可 由 某 些 附加 信息 
来 加 以 限制 ， 如 某 些 已 知 点 的 深度 。 假 设 一 组 随机 平面 被 从 一 个 随机 
方向 正 交 观察 ， 或 者 这 些 平面 具有 随机 的 均匀 的 法 向 ， 那 么 这 些 基 本 
平凡 分 量 是 如 何 分 布 的 呢 ? 前 面 讲 过 ， 式 (5.26) 中 的 bv,v,,v 是 基本 平 
凡 子 空间 中 的 一 组 标准 正 交 基 向 量 。 基 本 平凡 分 量 的 相对 度量 为 




















|v", ,TV V V )| 














(5.26) 
|| 
由 于 在 正 交 视 图 中 丢失 了 绝对 深度 ， 可 念 
1 
v'y, Pare =0 (5.27) 
则 式 (5.26) 的 上 限 为 
Yb, 
I(x 之 (5.28) 


VN (asa bi bs) 


当 平面 方向 均匀 分 布 时 ， 未 标 度 的 法 向 的 法 向 为 (mr, 必 ,mw)， 其 
P n,n? ni ~N(0,1) ， 即 服从 期 望 为 0、 方差 为 1 的 正 态 分 布 。 

在 式 (5.8) 形 式 下 ,有 a ~n? /wi 、b ~n? /ni 。 平 面 的 系数 呈 Cauchy 
分 布 。 Cauchy 分 布 是 一 种 连续 稳 态 分 布 , 不 存在 均值 、 方差 和 高 阶 算 。 
因此 ， 不 能 将 中 心 极限 定理 用 于 平凡 分 量 记 忆 4 或 二 Za 的 绝对 度 























量 ， 并 期 望 当 N 一 吧 时， 趋向 于 正 态 分 布 。 但 是 ， 式 (5.26) 的 基本 平 
凡 分 量 的 相对 度量 的 界限 总 为 1。 

显然 ， 若 存在 大 量 的 法 向 均匀 分 布 的 平面 ，vwwm 和 ww 的 度量 可 
PELE v 的 度量 要 小 。 因 此 ， 如 果 没 有 附加 信息 ， 在 正 投影 的 情形 下 ， 
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可 以 选择 一 个 正 交 于 该 平凡 子 空间 的 解 v»， 即 该 by 与 平凡 子 空间 的 每 
个 向 量 都 正 交 ， 记 为 v 上 Null(C)， 得 到 一 个 高 质量 的 解 。 








5.4.2 正 投影 系统 的 求解 


在 含 噪 情况 下 ， 平 凡 解 仍然 是 精确 的 。 但 在 一 般 情 况 下 ， 没 有 另 
外 的 精确 解 , 即 只 能 得 到 近似 解 。 从 几何 学 上 看 , 这 意味 着 在 点 (x,,y,) 
处 平面 之 间 存 在 深度 间隙 。 
解决 的 基本 方法 是 , 极 小 化 式 (5.12) 中 的 残 差 的 范 数 ， 即 寻找 一 个 
Hav, ERE Av] 较 小 。 由 于 当空 间 数据 点 (x%,y,3) 是 位 于 一 个 近似 
平坦 面 内 时 ，| 4 对 任何 曲线 集 都 是 较 小 的 , 无 法 模式 化 求解 。 因此 ， 
要 求 点 (x,,y,z) 远离 一 个 公共 平面 。 根 据 有 关 文 献 吓 ，|c| =1 是 使 
点 集 远 离 其 最 佳 拟 合 平 面 ， 即 可 能 的 公共 平面 的 充分 条 件 。 

C 的 零 空间 Null(C) 由 平凡 解构 成 ， 而 这 些 平 凡 解 可 拟 合 为 一 
个 单 平 面 ， 即 平凡 子 空间 中 的 所 有 向 量 相当 于 共 面 点 集 。 再 根据 式 
(5.23)、 式 (5.24)，Cv =0 意 味 着 Zy = P(a,b,d)" ， 其 中 a,b,d 为 平面 
B% BIz, Yi) =Z; (Xj Ny) = aX, +by; +d o 根据 定义 ， 这 意味 着 


ij? ij 








< 













































































Av=0。 即 

Cv=0 => Av=0 (5.29) 
因此 ，Null(C) < Null(A) 。 
ME, AYES 5.4.1 节 的 分 析 结 论 ， 可 以 假定 " 正 交 于 Null(C) ， 
因为 平凡 子 空间 的 任何 解 v 不 影响 |4v| 。 至 此 , 可 将 式 (5.12) 改 写 为 
如 式 (5.30)。 
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arg min||Av|| st ||Cy||=1, v L Null(C) (5.30) 


为 了 求解 式 (5.30)， 令 UDV HC 的 奇异 值 分 解 。 通 过 分 别 移 除 
相当 于 小 于 上 ARI PRAA D PRT, EV, D o V PRE 


除 的 列 翼 





展 后 覆盖 了 平凡 子 空间 ， 该 平凡 子 空间 至 少 是 三 维 。 玉 的 列 








恰好 构成 平凡 子 空间 的 正 交 补 的 一 个 基 。 


#4 





v=VD"w ， 由 于 U 是 正 交 的 ， 这 样 ， 上 述 问题 变换 为 








argmin|AVD™'w| st |upv*»|=]|wl=1 (5.31) 





上 述 正 投影 系统 的 求解 算法 总 结 如 表 5-2 所 示 。 


表 5-2 ” 正 投影 系统 的 求解 算法 
内 容 
根据 交叉 点 集 ， 构造 矩阵 AZP 
4 C=(Z-P(P*Z)\/ Vk 
计算 C 的 SVD: c=UDFT 
根据 DP 构造 Dv 


计算 4vp" Í SVD, $ w 为 右 奇异 向 量 


返回 v=Vp-'w 
一 


该 算法 的 实质 是 ， 在 严 的 基 中 选择 一 个 解 。 拖 阵 DV WIR 
予 权 值 ， 因 此 ， 接 近 于 纯 平 解 的 向 量 获得 较 高 的 价值 。 与 w 关联 的 奇 





异 值 是 式 ( 




















5.30) 的 极 小 值 。 对 于 一 个 含 较 低 噪声 的 系统 ,期 望 其 值 逼 近 








于 零 ， 除 非 那个 真实 表面 就 是 一 个 平凡 解 。 
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5.4.3 ”透视 投影 系统 的 求解 











前 可 知 ， 
Av; =0. 














对 于 正 投影 系统 ， 有 Av = 0 ; 对 于 透视 投影 系统 ， 有 





定理 5.2( 正 投影 和 透视 投影 的 等 价 性 ) 

WD 是 一 个 已 标签 化 的 图 像 ，p 为 像 平面 前 方 的 任 一 个 3D 点 。 
那么 ，D 为 一 个 多 面体 关于 以 p 为 中 心 的 透视 投影 4AM D IZ 
多 面体 的 正 投 影 。 























证 明 : 


在 不 改变 DD 可 视 性 的 情况 下 通过 变换 (x,y,z) 坐标 系统 ， 并 调 























整 缩放 比例 ， 使 得 p 与 原点 一 致 ， 且 使 得 像 平面 位 于 z=1 的 表面 上 。 
由 此 可 得 到 求证 结论 。 





透视 投影 还 是 1 


因此 ,场景 的 可 视 性 既 不 依赖 于 观察 者 所 站 位 置 ， 也 不 依赖 于 





是 





ER. 





KA, 1 


E 投 影 系统 具有 一 个 精确 非 平凡 解 ， 当 且 仅 当 具有 同样 


交叉 点 的 透视 投影 系统 也 有 一 个 精确 解 。 


型 (透视 ) 中 是 否 是 真正 平坦 的 ， 即 存在 精确 解 ， 而 无 须知 道 相 机 的 焦 
距 ， 根 据 正 投影 结论 即 可 验证 。 因 为 如 果 是 正 投影 ， 总 能 检查 是 否 存 
在 一 个 解 。 同 时 可 将 这 个 结论 推广 到 含 噪 系统 。 














给 定 一 个 无 品系 统 ， 可 以 检验 : 曲线 在 一 种 非 平 凡 构 



































在 透视 情况 下 ， 用 /去除 矩阵 AZ P HITCH x,,y,.x,.9, E 
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41,Z1,P,。 再 计算 类 似 于 式 (5.23) 中 的 C。 而 在 正 投 影 情况 下 ， 和 矩阵 
Cj 执行 一 次 平面 拟 合 。 

但 在 这 里 不 再 去 为 3D 点 集 (X,Y,2,) 拟 合 一 个 平面 , 在 代数 上 更 
方便 的 方法 是 去 定义 Cr ， 用 于 度量 变换 后 的 点 集 ， 旧 



































x; = 
z = ) (5.32) 


FM MN 
'Z f° 2, 


Sle 


的 平面 性 偏差 。 这 样 ， 如 果 变 换 后 的 点 在 下 述 的 一 个 平面 上 ， 则 对 应 
的 3D 点 在 平面 aX, + bY, +cZ =1 上 。 




















Ae i 1 
a—+bS4e=— 
ZLA 分 Z 


i i 


根据 这 些 定义 ， 需 要 求解 式 (5.33)。 


arg min Jav, | s.t. \c,», | =] (5.33) 








对 正如 正 投 影 系 统 的 任何 解 向量 为 
VEG dy sD bydi dy) ， 分 配 一 个 解 v 给 透视 系统 。 





vie (fas, Jays foss foysdi sdy y (5.34) 


通过 直接 计算 ， 得 到 
A,v, = Av 
Zw, =Z 
P,P} = PP" 
Crpr =Cv 


(5.35) 


这 样 ， 根 据 式 (5.30) 和 式 (5.33) 得 到 的 极 小 奇异 值 是 相同 的 。 需 


163 
Sy 


© 计算 机 视觉 一 -基于 图 像 的 3D EH 


要 说 明 的 是 , 如 果 v 垂 直 于 基本 平凡 子 空间 , 则 结果 就 是 w 。 不 过 ， 
如 果 v 垂直 于 C 的 零 向 量 空 间 ， 则 不 能 确保 w 垂直 于 Cj 的 零 向 量 
空间 。 

但 是 ， 选 择 一 个 垂直 于 平凡 子 空间 的 解 的 做 法 对 于 透视 投影 不 太 
适用 ， 因 为 透视 投影 可 能 放置 一 些 可 见 点 在 相机 的 后 面 ， 这 违背 了 
Cheirality 约束 。 所 谓 Cheirality 约束 ， 是 指 图 像 中 的 任何 点 必须 位 于 
生成 该 图 像 的 相机 的 前 面 。 根 据 这 个 思想 ， 可 以 从 类 似 仿 射 变换 之 类 
的 两 视图 中 确定 场景 结构 。 因 此 ， 在 某 些 情况 下 ， 解 必须 含有 一 个 平 
凡 分量 。 
































5.5 ”改善 精确 度 


实验 表明 ， 上 述 方法 比 简单 的 线性 方法 更 稳定 、 更 可 靠 、 适 应 性 
强 。 但 是 ， 有 时 候 这 种 方法 也 可 能 遭遇 失败 ， 主 要 原因 是 ， 虽 然 曲 
线 交 叉 点 的 投影 在 图 像 中 呈 近 似 线性 排列 ， 而 实际 交叉 点 在 3D 中 却 
不 是 线性 的 。 

对 于 含 噪 系统 ， 可 以 构造 男 一 种 不 同 的 误差 模型 ， 即 假设 图 像 中 
被 观察 到 的 交叉 点 被 独立 同 分 布 的 各 向 同性 高 斯 噪声 所 污染 。 通 过 极 
小 化 观察 到 的 交叉 点 (ys yy) 与 所 估计 的 平面 交叉 线 工 的 投影 线 之 间 
的 距离 的 平方 和 ， 最 终 实现 最 大 似 然 估计 ， 如 图 5.23 所 示 。 








fe 
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mapy) 





(a) 投影 图 像 





(b) 3D 空 间 构 型 





图 5.23 ”交叉 点 与 交叉 线 的 投影 图 


像 
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对 于 正 投影 系统 ， 最 大 似 然 估 计 为 





pn ha leh m/l 
7 (a-a, } +b, -by 








对 于 透视 投影 系统 ， 最 大 似 然 估计 为 


[(a, 


—a,)x,/ f +(b,—b,)y; I f +(e -ce 





(a, -a,)} + (b, -b,)° 


s.t. v L Null(C) 


(5.36) 


s.t. v L Null(C,) 


(5.37) 


在 式 (5.36) 中 ， 分 子 与 式 (5.10) 一 样 。 对 于 不 同 的 向 量 w ， 分 数 呈 
现 同 构 。 当 加 入 基本 平凡 分 量 向 量 v,v;,v;， 式 (5.36) 将 保持 不 变 。 
等 人 中 3 沿 着 式 (5.36) 中 的 直线 进行 优化 , 而 不 需要 v 上 Null(C) 


Kawasaki 


约束 条 件 。 若 没有 这 个 约束 条 件 ， 优 化 过 程 可 以 自由 增加 无 边界 的 平 
并 收敛 于 0/10。 但 在 数值 上 这 会 招致 较 大 麻烦 。 有 很 多 数值 


凡 分 量 ， 

















方法 可 | 


























初始 假定 值 。 











= 








合 。 例 如 


线 方程 组 是 负 定 的 ， 平 面 性 约束 可 与 附加 的 


于 式 (5.36), 其 中 有 些 方法 是 专门 设计 用 来 极 小 化 齐 次 有 理 函 
数 的 0 中。 这 些 数 值 方法 典型 地 收敛 于 一 个 局 部 极 小 值 ， 但 依赖 于 





，Lipson 和 Shpitalnin% 最 大 化 度量 诸如 拐角 正 交 性 、 线 段 重 





深度 信息 相 结 





直 性 等 。 另 一 个 例子 是 SOR(Surfaces Of Revolution) t”, RESAN 


个 附加 约束 的 SHGC. Shimshoni 和 Poncel 及 ShimodairatJ 使 用 明 
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瞳 约束 信息 。 这 些 工作 需要 非 线 性 优化 ， 可 能 导致 高 阶 运算 。 相 比 之 
F, Sugihara 提出 要 简化 搜索 思想 ， 即 首先 解决 线性 约束 以 得 到 一 
个 包含 解 的 低 维 线性 子 空间 ， 然 后 搜索 缩放 因子 和 平凡 子 空间 系数 ， 
以 优化 附加 的 目标 。 这 种 方法 的 好 处 是 ， 非 线性 搜索 局 限 在 非常 低 维 
的 空间 。 如 果 和 忽略 全 局 深度 歧义 性 ( 即 v,)，GBR 歧义 性 的 3D 空间 即 
使 被 稠密 采样 ， 也 足以 逼近 非 线 性 目标 函数 的 解 。 这 样 有 时 候 可 帮助 
拓展 搜索 空间 ， 使 用 附加 的 相当 于 较 小 奇异 值 的 C 的 奇异 向 量 。 























5.6 Æ mi h fi 


N 








共 平面 性 是 图 像 几 何 的 一 个 重要 特性 ， 包 含 线 面 的 平行 性 和 点 的 
共 线性 。 人 类 视觉 系统 在 感知 立体 场景 时 自觉 利用 了 共 平 面 性 假设 ， 
一 定 程度 上 可 弥补 投影 过 程 中 丢失 的 景深 信息 。 已 有 的 共 平面 性 约束 
方法 存在 两 个 极端 ， 或 者 考察 全 部 的 自由 变量 ， 或 者 仅 针 对 共 面 点 深 
度 的 稀 玻 约束 ， 都 难以 直接 用 于 单 图 像 的 3D 表面 重 构 。 基 于 传统 方 
法 的 这 种 局 限 性 ， 本 章 提出 一 种 基于 交叉 平坦 曲线 的 共 平面 约束 的 表 
面 重 构 方 法 ， 即 对 于 不 平行 于 投影 方向 的 任 一 个 平面 ， 根 据 其 所 含 曲 
线 与 另 一 个 平面 中 某 曲 线 的 交叉 构 型 构造 一 个 线性 系统 ， 当 这 些 交 又 
线 位 于 拟 求解 表面 时 , 可 获得 该 系统 的 精确 解 空间 。 对 于 含 噪 系统， 
首 加 |Cv| = 1 约束 条 件 ， 使 用 SVD 法 得 到 逼近 解 。 利 用 正 投影 和 透视 
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F 坦 交叉 曲 











投影 的 等 价 性 ， 可 将 透视 投影 转化 为 正 投影 ， 从 而 将 基于 了 
线 的 3D 表面 重 构 问 题 统 一 化 ， 并 分 别提 出 了 改善 解 精确 度 的 最 大 似 
然 估计 函数 。 实 验证 明 ， 这 种 方法 大 大 改良 了 单 图 像 3D 表面 重 构 的 
健壮 性 ， 可 用 于 单 视 图 模型 化 、 完 全 未 标定 结构 光 等 情况 。 





=) 





























168 





$ 计算 机 视觉 一 基于 图 像 的 3D EH 





计算 机 视觉 的 终极 目标 是 从 所 “看 ”到 的 场景 中 识别 出 感 兴趣 的 
MR, 即 基 于 2D 图 像 重 构 3D 模型 。 但 是 ,由 于 成 像 过 程 丢失 了 景深 
信息 或 因 让 挡 而 遗漏 了 部 分 有 用 信息 ， 导 致 不 同形 状 的 3D 物体 投影 
在 图 像 平 面 上 产生 了 相同 的 图 像 ， 这 就 是 投影 歧义 性 。 基 于 单 幅 图 像 
的 3D 重 构 是 计算 机 视觉 领域 极 具 挑战 性 的 研究 热点 ， 由 于 其 所 能 提 
供 的 信息 非常 有 限 ， 因 此 是 一 个 经 典 的 非 适 定 难题 ， 需 要 借助 一 些 关 
于 所 研究 对 象 的 先 验 知识 或 经 验 常 识 ， 如 几何 形状 的 平坦 性 、 平 行 性 
及 垂直 性 ， 表 面 纹理 的 畸变 性 ， 局 部 表面 的 平滑 性 、 明 暗 渐变 性 、 散 
焦 或 聚焦 性 ， 增 加 人 机 交互 等 ， 以 将 其 驯服 为 适 定 问题 。 





6.1 本 书 工作 总 结 


目前 常用 的 3D 重 构 方法 主要 有 SFS、SFT 等 ， 其 对 先 验 知识 的 
假定 大 多 是 试探 性 的 ， 仅 适合 于 特定 领域 、 特 殊 场 合 或 特定 问题 ， 如 
对 称 物体 (人 脸 、 建 筑 物 ) 等 。 本 书 针 对 单 幅 图 像 3D 表面 重 构 中 广泛 存 
在 的 歧义 性 问题 ， 将 约束 条 件 归纳 为 线性 、 离 散 和 二 次 约束 三 种 ， 并 
在 以 下 三 个 方面 进行 了 探索 。 

(1) 根据 表面 可 积 性 约束 歧义 性 ， 将 SFS 规划 为 含 二 次 约束 的 多 
项 式 系统 ， 利 用 同 伦 分 析 法 、 优 化 线 搜索 法 和 半 定 规划 法 求解 该 多 项 
式 ， 并 设计 一 种 新 的 平滑 项 ， 使 SFS 摆脱 了 对 初始 解 的 依赖 性 ， 优 化 
了 和 迭代 过 程 ， 对 非 凸 项 实现 了 统一 的 SDP 凸 松弛 处 理 。 这 种 将 单 图 像 
的 3D 表面 重 构 问 题 归 入 到 一 个 成 熟 的 理论 框架 的 一 种 尝试 , 对 SFT, 
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SFM 等 重 构 方 法 的 进一步 研究 都 具有 重要 的 参考 价值 。 实 验 结果 表 
明 ， 这 种 处 理 方案 大 大 改善 了 SFS 方法 的 高 效 性 和 普 适 性 。 

(2) 将 纹理 图 案 中 广泛 存在 的 二 进 制 歧义 性 问题 归结 为 一 个 离散 
约束 问题 ， 将 表面 表示 为 一 个 张 量 积 基 函数 的 线性 组 合 ， 进 而 定义 一 
个 二 次 目标 函数 来 度量 表面 平滑 度 和 约束 满足 度 ， 通 过 消除 连续 变量 
产生 一 个 仅 含 离散 变量 的 二 次 目标 函数 ， 再 使 用 SDP 凸 松弛 法 ,将 离 
散 变量 嵌入 一 个 连续 高 维 空间 ， 通 过 基于 分 裂 惯性 和 角 扫 描 的 圆 整 过 
程 将 离散 变量 归 约 到 一 个 低 维 空间 ， 最 后 通过 最 大 割 算 法 获得 较 理 想 
的 离散 判定 结果 。 上 述 方案 比 传 统 的 椭 球 法 高 效 且 成 本 低 (O(n*)), 还 
可 进一步 使 用 K-L 算法 改良 搜索 过 程 ， 消 除 错误 割 点 ， 大 大 提高 解 的 
精确 度 。 

(3) 将 图 像 中 诸如 in/out 倒置 的 几何 歧义 性 规划 为 共 平面 线性 约 
束 条 件 ， 提 出 一 种 基于 交叉 平坦 曲线 的 3D 表面 重 构 方法 ， 即 对 于 不 
平行 于 投影 方向 的 任 一 个 平面 ， 根 据 其 所 含 曲线 与 男 一 个 平面 中 某 曲 
线 的 交叉 构 型 构造 一 个 线性 系统 ， 当 这 些 交 叉 曲 线 位 于 拟 求 表面 时 ， 
可 获得 该 系统 的 精确 解 空间 。 对 于 含 噪 系统， 增加 |Cy| = 1 约束 条 件 ， 
使 用 SVD 法 得 到 逼近 解 。 利 用 正 投影 和 透视 投影 的 等 价 性 ， 可 将 透 
视 投 影 转化 为 正 投影 ， 从 而 将 基于 平坦 交叉 曲线 的 3D 表面 重 构 模 式 
统一 化 , 并 分 别 设计 了 改善 解 精 确 度 的 最 大 似 然 估计 函数 。 实验 证明， 
这 种 方法 大 大 提高 了 单 图 像 3D 表面 重 构 的 健壮 性 和 高 效 性 ， 可 用 于 
完全 未 标定 结构 光 等 真实 场景 。 
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6.2 ”进一步 研究 展望 


基于 单 幅 图 像 的 3D 表面 重 构 是 一 个 经 典 的 约束 不 足 难题 ， 昌 然 
经 过 大 量 研究 人 员 的 多 年 不 懈 努 力 取得 了 可 喜 的 成 就 ， 但 在 基础 理论 
方面 仍然 存在 很 大 的 探索 空间 ， 这 些 年 涌现 出 的 各 种 解决 方案 或 应 用 
技术 也 大 多 侧重 于 解决 特定 领域 的 特定 问题 。 本 书 在 此 方面 做 了 大 量 
的 研究 ， 取 得 的 研究 成 果 从 一 个 侧面 推动 了 该 领域 的 进展 ， 同 时 发 现 
在 实时 性 重 构 等 方面 还 存在 一 些 问题 需要 进行 更 细致 深入 的 探索 。 
O 现 有 的 单 图 像 重 构 方案 未 能 实现 对 实时 噪声 的 有 效 抑制 ， 万 
其 是 因 摄 像 设 备 因素 、 恶 劣 环 境 等 产生 的 随机 噪声 没有 统一 、 有 效 的 
数学 模型 ， 针 对 特定 场合 设计 的 噪声 模型 的 实际 效果 也 非常 有 限 ， 微 
小 的 噪声 于 扰 也 可 能 导致 多 重 歧义 解 。 这 种 情况 主要 是 因为 缺乏 有 效 
的 数学 模型 ， 因 而 极 大 地 限制 了 此 类 技术 在 对 实时 性 要 求 较 高 的 场合 
中 的 推广 应 用 ， 诸 如 智能 交通 中 的 压 黄 线 违章 检测 、 远 程 视频 会 诊 、 
网 络 游戏 等 。 今 后 将 继续 关注 噪声 表示 方法 的 理论 探索 。 

(2) 目前 的 SFT 方法 大 多 针对 有 规则 的 确定 性 纹理 ， 如 树叶 、 建 
筑 墙 面 等 。 但 这 种 纹理 毕竟 很 特殊 ， 对 于 室外 天 然 草 坪 、 山 坡 、 海 平 
面 等 统计 性 纹理 ， 常 规 SFT 方法 根本 不 适用 ， 主 要 因为 对 室外 自然 场 
景 中 的 无 规则 纹理 特征 没有 统一 、 有 效 的 处 理 方式 ， 需 要 寻求 更 合理 
的 数学 模型 。 本 书 与 其 他 方法 一 样 ， 对 于 纹理 歧义 性 的 多 样 性 、 可 对 
加 性 等 考虑 不 足 ， 今 后 将 进一步 寻求 理论 上 的 突破 。 
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第 6 章 总 结 与 展望 





(3) SFS 方法 一 般 假设 为 单 光源 ， 单 光源 模型 比较 简单 ， 而 实际 
情况 可 能 是 多 种 类 、 多 个 光源 的 交互 作用 ， 如 夜间 的 街景 ， 存 在 多 个 


路 灯 、 





车 灯 ， 以 及 月 光 等 ， 这 些 光 源 的 随机 组 合 形成 了 实际 的 光照 效 





果 。 这 些 偶发 光源 将 切实 影响 单 光 源 的 假定 前 提 ， 本 书 与 其 他 方法 一 
样 没有 对 此 深入 研究 ， 今 后 将 致力 于 光源 随机 组 合 方面 的 研究 ， 希 望 





ae 
KEFR H 


bt 一 种 有 效 的 光源 组 合 策略 和 解 转换 方法 ， 能 将 单 光源 下 的 研究 


成 果 无 颖 推广 到 多 种 类 、 多 地 缘 的 复杂 源 环境 下 。 

可 以 预见 的 是 ， 如 果 能 从 理论 上 解决 上 述 问 题 ， 或 在 技术 或 具 
体 的 方法 上 得 以 长 足 改进 ， 必 将 极 大 地 推动 基于 图 像 的 3D 重 构 技 
术 在 智能 交通 、 远 程 诊 疗 、 航 空 航 天 * 真人 游戏 等 方面 的 广泛 应 用 ， 











进而 带动 相关 学 科 的 协调 发 展 。 
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